xAI, 100 bin Nvidia çipine sahip yapay zeka eğitim sistemini yayına aldı

Elon Musk'ın "dünyanın en güçlüsü" olarak tanımladığı yapay zeka eğitim kümesini duyurduğunu sizlere aktarmıştık. Elon Musk, yapay zeka şirketi xAI'ın 100 bin grafik kartı içeren bir yapay zeka eğitim sisteminin kurulumunu tamamladığını açıkladı. Colossus adlı bu sistem hafta sonu yayına alındı. 

Musk'ın bu hafta paylaştığı X gönderisinde paylaştıklarına göre; Colossus, Nvidia'nın 100 bin adet H100 grafik kartıyla donatıldı. 2022 yılında piyasaya sürülen H100, bir yıldan uzun bir süre boyunca Nvidia'nın en güçlü yapay zeka işlemcisi olarak öne çıktı. Söz konusu grafik kartı, dil modellerini Nvidia'nın daha önceki nesil GPU'larından 30 kata kadar daha hızlı çalıştırabiliyor.

H100'ün Transformer Engine adlı modülü, kartın performansına ciddi anlamda katkıda bulunuyor. Modül, Transformer sinir ağı mimarisine dayalı yapay zeka modellerini çalıştırmak için optimize edilmiş bir çok devreden oluşmakta. Hatta bu mimarinin OpenAI'ın GPT-4o ve Meta'nın Llama 3.1 405B modelleri başta olmak üzere önde gelen pek çok büyük dil modelinin temelini oluştuyor. 

Musk, yeni piyasaya sürülen Colossus'u “dünyanın en güçlü yapay zeka eğitim sistemi” olarak tanımladı. Böyle bakıldığında eğitim kümesinin, ABD Enerji Bakanlığı'nın Aurora sisteminden daha hızlı olması gerekmekte. Dünyanın en hızlı yapay zeka süper bilgisayarı unvanına sahip olan Aurora, Mayıs ayında yapılan bir kıyaslama testinde donanımının %87'si aktifken en yüksek 10,6 exaflop hıza ulaşmıştı.

Musk, xAI'nin Colossus'un çip sayısını birkaç ay içinde ikiye katlayarak 200 bine çıkarmayı planladığını belirtti. Musk'ın paylaştıklarına göre; yeni işlemcilerin 50 bini H200 olacak. Bu noktada Nvidia'nın geçtiğimiz Kasım ayında piyasaya sürdüğü H200'ün H100'ün yükseltilmiş ve önemli ölçüde daha hızlı bir versiyonu olduğunu belirtmekte fayda var. 

xAI'nin amiral gemisi büyük dil modeli Grok-2, 15 bin GPU üzerinde eğitildi. Colossus'un 100 bin çipi sayesinde çok daha iyi yeteneklere sahip dil modellerinin geliştirilmesi mümkün. Paylaşılan bilgilere göre; xAI, Grok-2'nin yerini alacak yapay zeka modelini yıl sonuna kadar piyasaya sürmeyi planlıyor. Elon Musk'ın bu yeni yapay zeka eğitim sistemi ile OpenAI'a karşı rekabetinde elini güçlendirdiği aşikar.