Reflection AI'dan 501 milyar parametreli açık ağırlıklı yapay zeka modeli: Beam

Reflection AI, ilk açık ağırlıklı yapay zeka modeli Beam'i tanıttı. Sparse Mixture-of-Experts (MoE) mimarisini kullanan Beam, toplam 501 milyar parametreye sahipken her token işlenirken bunların 23 milyarı aktif hale geliyor. Model özellikle kodlama, akıl yürütme ve agentic görevler için geliştirildi.

Beam'in ön eğitimi, web içerikleri ve lisanslı özel veri setlerinden oluşan 23,8 trilyon tokenlık veri üzerinde gerçekleştirildi. Model ayrıca 1 milyon tokenlık bağlam penceresi sunuyor. Reflection AI, Beam'in yeteneklerini geliştirmek için ön eğitimin yanı sıra yüksek hesaplama gücüne dayanan reinforcement learning, yani pekiştirmeli öğrenme sürecine de ağırlık verdi.

Şirketin paylaştığı bilgilere göre Beam'in pekiştirmeli öğrenme aşamasında dört hafta boyunca 10 bin 500 Nvidia GB300 GPU kullanıldı ve 100 milyondan fazla rollout üretildi. Eğitim ve değerlendirme süreçlerinde yaklaşık 1,3 milyar sandbox çalıştırıldı.

Reflection AI, Beam'in çıkarım maliyetine dikkat çekiyor

Reflection AI, Beam ile çıkarım verimliliğine odaklanıyor. Şirketin kendi test sonuçlarına göre Beam, gelişmiş akıl yürütme benchmark'larında Z.ai'ın GLM-5.2 modeliyle benzer seviyede performans gösterirken 3 ila 4 kat daha az çıkarım için hesaplama gücü (inference compute) kullanıyor. Bununla birlikte söz konusu performans sonuçlarının henüz bağımsız olarak doğrulanmadığını belirtelim.

Reflection AI, Beam'in kodlama ve ajan tabanlı görevlerde daha büyük açık modellerle rekabet edebildiğini belirtiyor. Şirketin sonuçlarına göre model, örneğin SWE Bench Pro v2-Hard testinde 77,2, Terminal Bench v2.1'de 80,1 ve SWE Bench Verified'da 80,9 puan aldı.

Reflection, Beam'in özellikle GLM-5.2 ile rekabet edebildiğini ve bazı görevlerde daha büyük Qwen modellerine yaklaşabildiğini ifade ediyor. Ancak Beam'in her benchmark'ta rakiplerinin önüne geçtiğini söylemek pek mümkün değil. Hatta Reflection AI da Kimi K3 gibi bazı daha büyük açık modellerin ham performans açısından Beam'in önünde olduğunu kabul ediyor.

Şirket, Beam'i performanstan çok performans başına kullanılan hesaplama gücü açısından konumlandırıyor. Beam ayrıca kullanıcıların modelin ne kadar uzun süre akıl yürütmesini istediğini belirlemesine imkan tanıyan bir reasoning effort parametresine sahip. Düşük seviyeler daha kısa yanıt ve daha düşük hesaplama maliyetine odaklanırken, yüksek seviyeler daha karmaşık görevlerde modelin daha fazla token kullanarak düşünmesine imkan tanıyor.

Beam şimdilik yalnızca metin tabanlı

Beam'in multimodal bir model olmadığını da belirtelim. Model yalnızca metin tabanlı çalışıyor. Buna karşın araç kullanımı ve web erişimi sağlandığında farklı kaynakları araştırma yapabiliyor ve harici araçlardan gelen bilgileri kullanarak görevleri tamamlayabiliyor.

Reflection AI, eğitim sırasında modelin web erişimi verildiğinde diğer büyük dil modellerini aramayı ve belge okumak için OCR API'lerini kullanmayı kendiliğinden öğrendiğini ifade ediyor. Şirket Beam'i özellikle kurumsal müşteriler, geliştiriciler ve kamu kurumları için bir "workhorse model" olarak konumlandırıyor.

Reflection AI'ın daha geniş stratejisinde ise kurumların kendi verileri üzerinde özelleştirilmiş ve yerel olarak çalıştırılabilen yapay zeka sistemleri geliştirmesine imkan tanıyan AI factory yaklaşımı bulunuyor. 2024 yılında iki eski Google DeepMind araştırmacısı tarafından kurulan Reflection AI, bugüne kadar yaklaşık 4,7 milyar dolar yatırım aldı. Şirketin yatırımcıları arasında Nvidia, Sequoia Capital ve Lightspeed Venture Partners bulunuyor. Reflection AI'ın son yatırım turundaki pre-money değerlemesi ise 25 milyar dolar seviyesindeydi.

Reflection AI, Beam'in model ağırlıklarını, teknik raporunu, model kartını ve geliştirici araçlarını ekim ayı içinde yayınlamayı planlıyor. Model şu anda son güvenlik testleri ve değerlendirmelerden geçiriliyor.