Geçtiğimiz günlerde pek çok değerlendirmede GPT-4o'yu geride bırakan yeni modeli Claude 3.5 Sonnet ile gündeme gelen Anthropic, yapay zeka modellerinin yeteneklerini ortaya koyan ölçütlerin geliştirilmesi için harekete geçti.
Anthropic, dün paylaştığı bir duyuru ile yapay zeka modellerinin performansını ve etkisini değerlendirebilecek yeni ölçüt türlerinin geliştirilmesini finanse etmek için bir program başlattığını açıkladı. Şirketin yeni programı, yapay zeka modellerindeki gelişmiş yetenekleri etkili bir şekilde ölçebilen üçüncü taraf kuruluşlara ödeme yapacak.
Günümüzün model ölçütleri neden eleştiriliyor?
Hatırlarsanız daha önce sizlere yapay zeka değerlendirmelerinin tarafsız bir değerlendirme sunması açısından çeşitli handikaplara sahip olduğunu aktarmıştık. Örneğin, model eğitiminde kullanılan veri kümeleri kimi zaman kıyaslama testlerindeki yanıtları içerdiği için modeller testleri kolaylıkla geçebiliyor. Bununla beraber, özellikle modern üretken yapay zekanın doğuşundan önce yayınlananlar olmak üzere bazı ölçütlerin yaşları, ölçmek istedikleri şeyi ölçüp ölçmedikleri konusunda soru işaretleri doğuruyor.
Anthropic'in yeni programı neleri destekleyecek?
Görünen o ki; Anthropic, bu yeni program ile söz konusu problemleri elimine etmeye odaklanıyor. Şirket yaptığı açıklamada bu değerlendirmelere yaptıkları yatırımın, tüm ekosisteme fayda sağlayan değerli araçlar sağlayacağını ve böylece tüm yapay zeka güvenliği alanını yukarı taşımayı amaçladığını belirtti. Aynı zamanda şirket, yüksek kaliteli, güvenlikle ilgili değerlendirmeleri geliştirmenin zorluğuna dikkat çekerken, bu konudaki talebin arzı geride bıraktığını vurguladı.
Şirketin nihai hedefi ise yeni araçlar, altyapı ve yöntemler aracılığıyla yapay zeka güvenliği ve toplumsal etkilere odaklanan zorlu ölçütler oluşturmak. Anthropic, özellikle bir modelin siber saldırılar gerçekleştirme, kitle imha silahları geliştirme ve insanları manipüle etme veya aldatma gibi görevleri yerine getirme yeteneğini değerlendiren testler talep ediyor. Açıkçası şirket, ulusal güvenlik ve savunma ile ilgili yapay zeka riskleri için bir tür erken uyarı sistemi geliştirmenin peşinde.
Ayrıca yeni program kapsamında, çeşitli konuları araştıran kıyaslama ölçütleri ve uçtan uca görevler üzerine araştırmalar desteklenecek. Araştırılması planlanan konular ise yapay zekanın bilimsel çalışmalara yardımcı olma, birden fazla dilde konuşma ve kökleşmiş önyargıları azaltma potansiyeli. Buna ek olarak yapay zekanın kendi kendini sansürleme durumu da araştırılacak.
Programa başvuranları neler bekliyor?
Bahsi geçen araştırma ve ölçütlerin hayata geçebilmesi için Anthropic, yeni platformların hayata geçeceğini öngörüyor. Bu yeni platformlar, hem uzmanların kendi değerlendirmelerini geliştirmelerine hem de binlerce kullanıcıyı içeren modellerin büyük ölçekli testlerine imkan tanıyacak. Paylaşılan bilgilere göre şirket, program için tam zamanlı bir koordinatör tuttu. Bunun yanı sıra Anthropic, ölçeklendirme potansiyeline sahip olduğuna inandığı projeleri satın alabilecek.
Anthropic yaptığı açıklamada her projenin ihtiyaçlarına ve aşamasına göre uyarlanmış bir dizi finansman seçeneği sunduğunu belirtiyor. Programa dahil olan ekipler, Anthropic'in öncü red team, ince-ayar, ve güvenlik dahil olmak üzere ilgili ekiplerinden uzmanlarla doğrudan iletişim kurabilecek.
İlk Yorumu yazmak ister misiniz?
Yorum Yazmak için Giriş Yap