Google'ın yeni açık büyük dil modeli serisi: Gemma

Geçen hafta Gemini 1.5 Pro modelini duyuran Google'ın, daha fazla Gemini modelini geliştiricilere açtığını sizlere aktarmıştık. Google şimdi de iki yeni hafif (lightweight) açık büyük dil modeli ile karşımızda. Ticari ve araştırma için kullanıma açık olan Gemma 2B ve Gemma 7B isimli bu modeller, Gemini'dan ilham alıyor. Burada hafif olarak tercüme ettiğimiz lightweight tanımı ise geliştiricilerin söz konusu modeli bir laptop ya da masaüstü bilgisayarda çalıştırabileceği anlamına geliyor. 

Gemma modellerinin detayları 

Gemma modelleri, yoğun salt kod çözücü (decoder-only) modelleri olarak karşımıza çıkıyor. Gemini modelleri ve daha önceki PaLM modelleri için de aynı mimari kullanılmıştı. Gemma modellerinin Meta'nın Llama 2 modelleriyle karşılaştırdığında daha yüksek performans gösterdiğini görüyoruz. Mistral'in benzer modelleriyle kıyaslamalarının yapıldığı dokümanlar ise yakın zamanda Hugging Face'te kendini gösterebilir. 

Geliştiriciler, Gemma'yı kullanmak için Colab ve Kaggle'ın yanı sıra Hugging Face, MaxText ve Nvidia'nın NeMo'su ile kurulan entegrasyonlara erişebilecek. Paylaşılan bilgilere göre, bu modeller her yerde çalıştırılabilir. Ancak ilk olarak önceden eğitime tabi tutulmaları ve ayarlarının tamamlanması gerekiyor. 

Bu arada açık kaynak modeller ile açık modeller arasında da ince bir çizgi bulunuyor. Geliştiriciler ve araştırmacılar açık modellerde, modelleri özelleştirmek ve ince ayar yapmak için geniş kapsamlı bir erişime sahip oluyor. Ancak açık kaynak modellere kıyasla, kullanım koşulları modelin kendi özel kullanım koşullarına göre değişiyor. Yani yeniden dağıtımın ve geliştirilen bu varyasyonların mülkiyeti de tamamen açık kaynakta olduğu gibi düzenlenmiyor. Bu bağlamda geliştiriciler modeli çıkarım için kullanabilmenin yanında istedikleri gibi ince ayar yapabilecek. 

Paylaşılan bilgilere göre; Gemma modelleri güçlü olmalarının yanı sıra güvenli olacak şekilde eğitildi. Google, modelleri eğitmek için kullandığı verilerden kişisel bilgileri çıkarmak için otomatik teknikler kullandı. Google, gelecekte çeşitli uygulamalar için daha da fazla Gemma varyasyonu sunmayı planlıyor