OpenAI, yapay zeka modellerinin güvenliğini bağımsız uzmanlarla değerlendirmek amacıyla yeni bir program başlattığını açıkladı. Şirket, Apollo Research, Goodfire, METR ve Transluce ile anlaşarak bu kuruluşların araştırmacılarına OpenAI'ın henüz yayınlanmamış modelleri, eğitim süreçleri ve güvenlik sistemleri dahil olmak üzere şirket içindeki çeşitli kaynaklara erişim sağlayacak.
OpenAI, “embedded assessments” adını verdiği yeni yaklaşımla bağımsız araştırmacıların şirket içinde güvenlik değerlendirmeleri yapmasını sağlayacak. Araştırmacılar, çalışmalarının kapsamına göre yapay zeka modellerinin farklı geliştirme aşamalarına ve kaynak kodlarına erişebilecek. Ayrıca eğitim ve değerlendirme verilerini, izleme sistemlerini ve teknik belgeleri inceleyebilecek.Buna ek olarak araştırmacıların OpenAI'ın mühendisleri ve araştırmacılarıyla görüşebileceğini de belirtelim. Şirket, bu yöntemle kendi güvenlik testlerinin gözden kaçırabileceği sorunların bağımsız uzmanlar tarafından tespit edilmesini amaçlıyor.
Programın dikkat çeken bölümlerinden biri ise Apollo Research ile yürütülecek çalışma olacak. Apollo Research, modellerin geliştiricilerinin niyetlerine gizlice karşı hareket edip edemeyeceğini ve OpenAI'ın güvenlik sistemlerinin bu davranışları tespit edip edemeyeceğini araştıracak. Değerlendirme kapsamında eğitimin modelleri güvenlik önlemlerini aşmaya teşvik edip etmediği, güvenlik testlerinin bu tür davranışları ortaya çıkarıp çıkaramadığı, modellerin şirket içindeki kullanım sırasında bu yönde girişimlerde bulunup bulunmadığı ve bu davranışların arkasındaki akıl yürütmenin tespit edilip edilemeyeceği incelenecek.
Paylaşılan bilgilere göre burada araştırılan temel risklerden biri “AI subversion” olarak tanımlanıyor. Kavram, bir yapay zeka modelinin kendisini veya gelecekteki modelleri insan kontrolü altında tutmak için oluşturulan güvenlik ve hizalama mekanizmalarını zayıflatmaya çalışmasını ifade ediyor. Yapay zeka modellerinin daha otonom hareket edebilmesi ve insanları yanıltma yeteneklerinin gelişmesiyle birlikte bu riskin daha önemli hale geldiği belirtiliyor.
Program kapsamında diğer kuruluşlar da farklı alanlara odaklanacak. Goodfire, modellerin iç işleyişini analiz ederek eğitim süreçlerinin izlenmesi, hatalı davranışların tespit edilmesi ve model hizalamasının geliştirilmesi üzerinde çalışacak. METR, OpenAI'ın en büyük pekiştirmeli öğrenme eğitim süreçlerinden birinde şirketin mevcut testlerinin kaçırmış olabileceği uyumsuz davranışları araştıracak. Ayrıca OpenAI'ın bu davranışları tespit etmek için kullandığı izleme sistemlerinin etkinliği de değerlendirilecek. Transluce ise eğitim sonrasında kullanılan güvenlik değerlendirmelerinin kalitesini ve kapsamını inceleyecek. Transluce ile 2027'nin başlarında yaklaşık sekiz haftalık daha kapsamlı bir çalışma yapılması da planlanıyor.
Bağımsız araştırmacıların hassas şirket verilerine erişmesi nedeniyle çalışmaların önemli bir bölümü OpenAI ofislerinde ve şirket tarafından sağlanan cihazlarla gerçekleştirilecek. Araştırmacılar bulgularını bağımsız olarak yayımlayabilecek ancak OpenAI, ticari açıdan hassas bilgileri sansürleyebilecek ve güvenlik açığı oluşturan bulguların yayımlanmasının ertelenmesini isteyebilecek. Şirketin Güvenlik Komitesi ise değerlendirme raporlarının herhangi bir bilgi çıkarılmamış tam halini inceleyebilecek.
Öte yandan programın ne ölçüde bağımsız olduğu da tartışılıyor. Apollo Research, tam anlamıyla bağımsız bir değerlendirme için araştırmacıların çalışanlara benzer düzeyde erişime sahip olması gerektiğini savunuyor. İlk pilot çalışmada ise erişim yalnızca önceden belirlenen modeller, dönemler ve araştırma konularıyla sınırlı olacak. OpenAI ayrıca teknik, güvenlik veya fikri mülkiyet gerekçeleriyle bazı bilgilere erişimi kısıtlayabilecek.
Apollo Research, mevcut programı daha kapsamlı bağımsız değerlendirmelere doğru atılmış önemli bir ilk adım olarak nitelendiriyor. Bununla beraber, OpenAI, Apollo Research ve Goodfire'ın çalışmalar karşılığında ücret aldığını, ancak bu ücretlerin değerlendirme sonuçlarına bağlı olmadığını belirtiyor. METR ve Transluce ise çalışmalar için ödeme almıyor; ancak hesaplama kaynağı veya API kredisi kabul edebiliyor.
OpenAI, ilk aşamadan elde edilecek deneyimlerle bağımsız değerlendirmelerin kapsamını genişletmeyi hedefliyor. Şirket ilerleyen dönemde güvenlik çerçevelerine uyumun yanı sıra OpenAI'ın kurum kültürü ve süreçlerinin de dış uzmanlar tarafından değerlendirilmesini gündemine alabileceğini belirtiyor.
İlk Yorumu yazmak ister misiniz?
Yorum Yazmak için Giriş Yap