Mistral'in laptop ve mobil cihazlarda çalışan yeni yapay zeka modelleri: Ministral 3B ve Ministral 8B

Son aylarda MobileLLM ve SmoILM dahil olmak üzere diz üstü bilgisayarlar ve mobil cihazlarda çalışmaya odaklanan pek çok yapay zeka modeli yayınlandığını gördük. Sonunda Fransa merkezli yapay zeka şirketi Mistral de les Ministraux adını verdiği modelleriyle bu furyaya katıldı.

Les Ministraux, Ministral 3B ve Ministral 8B modellerini içeriyor. Her iki modelin de 128 bin token'lık bağlam penceresine sahip olduğunu belirtelim. Yani modeller yaklaşık 50 sayfalık bir kitap uzunluğunda girdiler alabiliyor. Şirketin belirttiğine göre; Mistral'in müşterileri cihaz içi çeviri, internetsiz akıllı asistanlar, yerel analizler ve otonom robotik gibi uygulamalar için yerelde çalışan gizlilik odaklı bir yaklaşıma ihtiyaç duymaktaydı. Les Ministraux, bu senaryolar için hesaplama açısından verimli ve düşük gecikmeli bir çözüm sağlamak üzere geliştirildi.

Mistral'in paylaştığı grafiklere göre; Ministral 3B ve Ministral 8B, benzer Llama ve Gemma modellerine yanı sıra kendi Mistral 7B modeline kıyasla çeşitli yapay zeka ölçütlerinde daha iyi performans gösteriyor. Söz konusu ölçütler talimatları takip etme ve problem çözme yeteneklerini değerlendirmek için tasarlanmış durumda.

Sadece 3 milyar parametreye sahip olan Ministral 3B, çoğu kıyaslamada Mistral'in orijinal 7 milyar parametreli modelinden daha iyi performans gösteriyor.

Ministral 8B ise ortaya koyduğu performans ile kendi boyutundan büyük modellerle yarışabiliyor.  

Şimdiye kadar piyasada gördüğümüz bulut yaklaşımı bu kompakt modellerle çeşitlenmiş oluyor. Yapay zeka modellerinin cihazlarda yerel olarak çalıştırılması, hassas verilerin kullanıcının mülkiyetinde kalmasını sağlıyor. Bu arada eğer siz de kendi bilgisayarınızda yapay zeka modelleri çalıştırmayı düşünüyorsanız bilgisayarınızda yapay zeka modeli çalıştırmanızı sağlayan araçlar yazımızı incelemenizde fayda var.

Ministral 8B bugün itibariyle sadece araştırma amaçlı olarak indirilebilir durumda  Mistral, Ministral 8B veya Ministral 3B'nin ticari lisansı için Mistral ile iletişime geçmeniz gerekiyor. Geliştiriciler Ministral 3B ve Ministral 8B'yi Mistral'in bulut platformu La Platforme ve girişimin önümüzdeki haftalarda ortaklık kuracağı diğer bulutlar aracılığıyla kullanabilecek. Ministral 8B yaklaşık 750 bin kelimeye denk gelen bir milyon çıktı/girdi tokenı başına 10 sent ile ücretlendiriliyor. Ministral 3B ise bir milyon çıktı/girdi tokenı başına 4 sente mal oluyor.