Cohere for AI'dan 101 dili destekleyen büyük dil modeli: Aya

Üretimsel yapay zeka girişimi Cohere'in yönettiği kar amacı gütmeyen Cohere for AI yeni yapay zeka büyük dil modelini tanıttı. Aya adlı bu açık kaynaklı model "kitlesel olarak çok dilli" olarak tanımlanıyor ve 101 farklı dilde çalışabiliyor. Cohere'in paylaştığı bilgilere göre Aya'nın kapasitesi, mevcut açık kaynaklı modellerin kapsadığı dil sayısının iki katından fazlasına denk geliyor. 

Aya modeli, Aya Projesi'nin bir parçası. Bu noktada Aya Projesi'nin çok dilli bir yapay zeka modeli oluşturmak amacıyla 119 ülkeden 3 binden fazla araştırmacının katılımıyla 2023'ün Ocak ayında başlatıldığını belirtelim. Günümüzde birçok model İngilizceye odaklansa da, dünyanın yalnızca yaklaşık yüzde 5'i evde İngilizce konuşuyor. Bu da diğer birçok dilin yapay zeka teknolojisi alanında yeterince hizmet almadığı anlamına geliyor.

Bu nedenle Cohere, Aya'nın yanı sıra araştırmacıların modellerinde kullanmaları için çok dilli öğretim (instruction) veri setini de yayınladı. Bu veri seti, 114 farklı dili kapsayan 513 milyon veri noktasına sahip. Bu da veri setini bu konuda bugüne kadarki en büyük veri setlerinden biri olarak konumlandırıyor.

Cohere for AI ekibi yaptığı açıklamada şu ifadelere yer verdi: 

LLM'ler ve genel olarak yapay zeka , küresel teknolojik manzarayı değiştirirken, mevcut modellerin dil sınırlamaları nedeniyle dünya çapında birçok topluluk desteklenmedi. Bu boşluk, küresel bir kitle için üretken yapay zekanın uygulanabilirliğini ve kullanışlılığını engelliyor ve önceki teknolojik gelişme dalgalarından zaten var olan mevcut eşitsizlikleri daha da genişletme potansiyeline sahip.

Yapay zeka konusunda az hizmet alan dilleri kapsayan veri kümesi, dünyanın dört bir yanından nadir dilleri konuşanların nadir ek açıklamalarını içermekte. Böylece yapay zeka teknolojisinin daha geniş kitlelere hizmet vermek üzere bir sıçrama yapması da amaçlanıyor. 

Yayınlanan veri kümesi, akıcı konuşmacılar tarafından 67 dilde 204 bin nadir açıklama içeriyor. Bu ek açıklamalar, dili anlamaya yönelik verilere bağlam ekleyerek modellerin etkili bir şekilde öğrenmesine yardımcı olmak için kullanılıyor. 

Veri seti ayrıca Somali ve Özbekçe gibi tescilli modellerde yaygın olarak bulunmayan ve daha önce yeterince temsil edilmeyen 50'den fazla dilin kapsamını genişletiyor. Paylaşılan bilgilere göre model testlerde ve kıyaslamalarda mT0 ve Bloomz da dahil olmak üzere diğer açık kaynaklı modelleri geride bırakıyor.