OpenAI ve Google'ın yapay zeka yarışı: GPT-4 mü, Gemini Ultra mı önde?

Geçtiğimiz haftalarda OpenAI ve Anthropic'in yapay zeka yarışı: GPT-4 Turbo mu, Claude 2.1 mi önde? başlıklı yazımız ile GPT-4 Turbo ve Claude 2.1'i karşılaştırmıştık. Sıra Google'ın yeni yapay zeka modeli Gemini ile GPT-4'de! 

Gemini ve GPT-4 modellerinin bağlam pencereleri 

Modelin ilk versiyonu olan Gemini 1.0, son derece karmaşık görevler için en yetenekli ve en büyük model olan Gemini Ultra, çok çeşitli görevleri ölçeklendirmek için Gemini Pro ve cihaz içi görevler için en verimli model Gemini Nano olmak üzere üç farklı kategori ile karşımıza çıkıyor. Gemini, 32 bin token'lık bağlam penceresine sahip. 

OpenAI'ın standart GPT-4 modeli 8 bin tokenlık bağlam penceresine sahip olsa da, şirket, 32 bin tokenlık bağlam penceresine sahip bir GPT-4 modeli de sunmakta. Bunlara ek olarak GPT-4 Turbo 128 bin token'lık bağlam penceresine sahip. Bu noktada Anthropic'in Claude 2.1 modelinin yaklaşık 200 bin token girdiyi işleyebildiğini eklemekte fayda var. 

Multimodal yetenek karşılaştırması 

Gemini çok modlu (multimodal) bir yapay zeka modeli. Çok modlu modeller, metin, görüntüler, ses, video ve kodlama dilleri gibi farklı türdeki bilgileri genelleştirip sorunsuz bir şekilde anlayabiliyor. Çok modlu modeller, bu kategoriler üzerinde çalışabiliyor ve bunları birleştirebiliyor. 

Bu anlamda GPT-4'ü çok modlu model olarak tanımlayabiliriz. Gemini da çok modlu olacak şekilde tasarlandı ve başlangıçtan itibaren farklı yöntemler konusunda önceden eğitildi. Daha sonra etkinliğini daha da iyileştirmek için ek çok modlu verilerle ince ayar yapıldı. 

GPT-4 ve Gemini'ın çok modlu yetenek karşılaştırmasına baktığımızda Gemini Ultra'nın ağırlıklı olarak GPT-4'ü geride bıraktığını görüyoruz. Doğal görsel anlama, doğal görsellerde OCR kullanımı ve görsel bağlamlarda matematiksel muhakeme gibi alanlarda çok küçük farklar görünse de, birden farklı disiplindeki problemleri üniversite seviyesinde muhakeme edebilmek ve infografik anlama alanlarında bu farklar artıyor. 

Ses ve video konusunda ise Deepmind Flamingo, SeViLA ve Whisper modelleriyle de karşılaştırma gerçekleştiriliyor. Bu karşılaştırmaya göre, Gemini Pro, 21 dilde otomatik konuşma tercümesinde Whisper V2'ye kıyasla çok daha iyi sonuçlar verirken, 62 dilde otomatik konuşma tanımada hata oranı yüzde 17.6 olan Whisper 3'e kıyasla yüzde 7.6 gibi daha düşük bir hata payı ile karşımıza çıkıyor. 

Gemini Ultra ise ingilizce video altyazıları hazırlamada DeepMind Flamingo'nun, video soruları yanıtlamada SeViLA'nın önüne geçiyor. 

Gemini Ultra ve GPT-4 karşılaştırması 

Google'ın Gemini Ultra ve GPT-4 karşılaştırmasında yer alan bilgilere göre, günlük görevler için sağduyulu muhakeme konusunda GPT-4, yüzde 95.3 ile öne çıkarken, Gemini Ultra, yüzde 87.8 ile geride kalıyor. Bunun dışındaki muhakeme, matematik ve kodlama yeteneklerinde Gemini Ultra, GPT-4'ü geride bırakmayı başarıyor. 

GPT-4'ün yanı sıra Google'ın hazırladığı teknik dokümanda GPT-3.5, PaLM2-L, Claude 2, Inflection-2, Grok 1, LLAMA-2 modelleriyle de karşılaştırma yapılıyor.Tabloda yer alan verilere göre; Python kodlama görevleri konusunda Claude 2, GPT-4'den daha iyi sonuçlar elde ediyor. 

Bunun dışında GPT-4 ve Claude 2'nin genellikle diğer modellere kıyasla daha başarılı sonuçlar elde ettiğini ve birbirine yakın değerlere sahip olduğunu görüyoruz. GPT-4 genellikle diğer modelleri geride bırakırken, Gemini Ultra ise GPT-4'ü pek çok kriterde sollamayı başarıyor.