Microsoft'un Google ve OpenAI'a meydan okuyan yapay zeka modeli serisi: Phi-3.5

Microsoft, Phi yapay zeka serisi kapsamında 3 yeni modelin piyasaya sürüldüğünü açıkladı. Üç yeni Phi 3.5 modeli, 3,82 milyar parametreli Phi-3.5-mini-instruct, 41,9 milyar parametreli Phi-3.5-MoE-instruct ve 4,15 milyar parametreli Phi-3.5-vision-instruct'ı içeriyor. Phi-3.5-mini-instruct, hızlı muhakeme sunarken, Phi-3.5-MoE-instruct daha güçlü muhakemeye sahip. Phi-3.5-vision-instruct ise görüntü ve video analizi görevleri için tasarlandı. 

Her üç model de Microsoft markalı MIT Lisansı altında kullanıma sunuldu. Geliştiriciler, modelleri Hugging Face üzerinden indirerek, kullanabilir. Aynı şekilde modeller üzerinde ince ayarlar yapabilir. Yapılan çeşitli üçüncü taraf kıyaslama testleri üç modelinde de son teknoloji performansa sahip olduğunu gösteriyor. Paylaşılan bilgilere göre; modeller, bazı durumlarda Google'ın Gemini 1.5 Flash, Meta'nın Llama 3.1 ve hatta OpenAI'ın GPT-4o'sunu geride bırakabiliyor. 

Phi-3.5 Mini Instruct

Hafif bir yapay zeka modeli olan Phi-3.5 Mini Instruct, 3.8 milyar parametreye ve 128 bin token'lık bağlam penceresine sahip. Bellek veya bilgisayar kısıtlı ortamlarda güçlü muhakeme yeteneklerine ihtiyaç duyuyorsanız, modele bir şans verebilirsiniz. Model, kod üretimi, matematiksel problem çözme ve mantık tabanlı muhakeme gibi görevleri yerine getirebilir. Phi-3.5 Mini Instruct modeli 10 gün boyunca 512 H100-80G GPU kullanılarak 3,4 trilyon token üzerinde eğitildi. 

Kompakt yapısıyla dikkat çeken Phi-3.5 Mini Instruct, buna rağmen, çok dilli ve çok yönlü konuşma görevlerinde rekabetçi bir performans sergiliyor. Model özellikle uzun bağlamlı kod anlamayı ölçen RepoQA kıyaslama ölçütünde benzer boyuttaki diğer modeller olan Llama-3.1-8B-instruct ve Mistral-7B-instruct'ı geride bırakıyor. 

Phi-3.5 MoE

42 milyar aktif parametreye sahip bir mimariden faydalanan Phi-3.5 MoE, 128 bin token'lık bağlam penceresine sahip. Üstelik model yalnızca 6,6 milyar aktif parametre ile çalışmakta. Phi-3.5 MoE ile Microsoft'un her biri farklı görevlerde uzmanlaşmış birden fazla farklı model türünü bir araya getirdiğini söyleyebiliriz. Phi-3.5 MoE, kod, matematik ve çok dilli dil anlamada güçlü performans sunuyor. Model, RepoQA dahil olmak üzere belirli kıyaslamalarda genellikle daha büyük modellerden daha iyi performans göstermesiyle öne çıkıyor. 

Buna ek olarak modelin 5 atışlı Çok Görevli Dil Anlama (MMLU) ölçütünde GPT-4o mini'yi geride bıraktığını söylemekte fayda var. Söz konusu ölçüt STEM, beşeri bilimler, sosyal bilimler gibi konularda farklı uzmanlık seviyelerinde değerlendirme yapmakta. Phi-3.5 MoE modeli, 23 gün boyunca 512 H100-80G GPU ile 4,9 trilyon token üzerinde eğitildi. 

Phi-3.5 Vision Instruct

Phi-3.5 serisindeki diğer modeller gibi Vision Instruct da 128 bin token'lık bağlam uzunluğuna sahip. Phi-3.5 Vision Instruct modeli, metin ve görüntü işleme yetenekleriyle dikkat çekiyor. Çok modlu model özellikle genel görüntü anlama, optik karakter tanıma, grafik ve tablo anlama ve video özetleme gibi görevler için kullanılabilir.

Paylaşılan bilgilere göre; model, sentetik ve filtrelenmiş halka açık veri kümelerinin bir kombinasyonu ile eğitildi. Modelin eğitim verileri kapsamında yüksek kaliteli, muhakeme yoğun verilere odaklandığını söyleyebiliriz. Vision Instruct modeli 6 gün boyunca 256 A100-80G GPU kullanılarak 500 milyar token üzerinde eğitildi.