iGenius'tan kurumların veri koruma ihtiyaçlarına odaklanan Nvidia destekli LLM: Colosseum 355B

İtalya merkezli yapay zeka girişimi iGenius, güncel Nvidia teknolojisiyle oluşturulmuş büyük bir dil modeli olan Colosseum 355B'yi piyasaya sürdüğünü duyurdu. Colosseum 355B, özel veri koruma ihtiyaçları olan yüksek düzeyde yasal düzenlemelere tabi endüstrilerdeki müşterilere hizmet vermeyi hedefliyor. 

IGenius, özellikle finans ve kamu yönetimi gibi yüksek düzeyde düzenlemeye tabi sektörlerde çalışan işletmeler için yapay zeka geliştirme konusunda uzmanlaşmış durumda. Şirket, geliştirdiği LLM'ler ile bu sektörlerde çalışmak üzere tasarlanmış bir yapay zeka çözümü olan Crystal adlı iş zekası aracını destekliyor. 

Colosseum 355B modelinin detayları

Colosseum 355B, Nvidia AI Enterprise yazılım platformu kullanılarak oluşturulurken, 3 binden fazla Nvidia H100 GPU'yu düzenlemek için DGX Cloud AI platformu kullanıldı. Nvidia'nın açıkladığına göre, çalışma iki ayda tamamlandı. Tek bir H100 GPU düğümüne sığacak şekilde optimize edilmiş 355 milyar parametreli bir model olan Colosseum 355B, 50'den fazla dili desteği ve kodlamada yetenekleriyle öne çıkıyor. 

IGenius, modelin FP8 hassasiyeti olarak bilinen bir yöntem kullanılarak önceden eğitildiğini açıkladı. Bu anlamda şirketin bellek kullanımında önemli bir azalma sağladığını söyleyebiliriz. Aynı şekilde bu boyut küçültme, çıkarım maliyetlerinin yüzde 50 oranında azaltmasını sağlıyor. Üstelik modelin doğruluk veya kaliteyi düşürebilecek şekilde dönüştürülmesine gerek kalmıyor. 

Yasal olarak düzenlemeye tabi olan sektörler, sıkı mevzuat ve uyumluluk gereklilikleri nedeniyle yapay zeka (AI) teknolojisine mesafeli bir duruş benimsiyor. iGenius yeni dil modeliyle bu durumu aşmayı planlıyor. Modelin tek bir H100 GPU üzerinde çalışacak kadar küçük olması sayesinde, düzenlemeye tabi bir kuruluş, bulutta barındırmaya gerek kalmadan modeli kendi güvenlik duvarı içinde çalıştırabilecek. Böylece şirketler, kendi tescilli LLM'ini barındırararak, model üzerinde tam kontol sahibi olacak. 

iGenius CEO'su Uljan Sharka'nın belirttiğine göre; iGenius, finansal hizmetler sektöründeki potansiyel kullanıcıların yanı sıra ağır sanayi şirketleri ve hükümetlerle de temas halinde. Hatta Sharka, yeni modeli Avrupa Komisyonu'na sunmak üzere Perşembe günü Brüksel'e uçtu.