Fei-Fei Li'nin girişimi World Labs'ten yeni dünya modeli: Atlas

Yapay zeka araştırmacısı Fei-Fei Li'nin kurucu ortakları arasında yer aldığı World Labs, mekansal zeka alanında geliştirdiği yeni dünya modeli Atlas'ı tanıttı. Şirketin "omni model" olarak nitelendirdiği Atlas, metin, görsel, video ve 3D verileri tek bir mimari içinde işleyebiliyor.

Sıfırdan önceden eğitilen Atlas, teknik olarak çok modlu otoregresif bir difüzyon transformer'ı üzerine kurulu. Model, kendisine verilen farklı türdeki girdileri ortak bir mekansal bağlamda birleştiriyor. Böylece yalnızca görüntü üretmekle kalmıyor; nesnelerin ve ortamların üç boyutlu yapılarını dikkate alarak sahnenin görünmeyen bölümlerini tahmin edebiliyor.

Atlas'ın öne çıkan özellikleri

Atlas'ın öne çıkan özelliklerinden biri, kamera konumlarını ve hareket rotalarını doğrudan girdi olarak kabul etmesi. Mevcut video üretim modellerinde kamera hareketleri çoğunlukla metin komutlarıyla tarif edilirken Atlas, kamera geometrisini modelin doğal girdilerinden biri olarak kullanıyor. Kullanıcılar böylece kamera açısını, konumunu ve sahne içindeki hareketini daha ayrıntılı biçimde belirleyebiliyor.

Model, bir ila altı referans görsel ve önceden belirlenen kamera rotalarıyla 1440p çözünürlükte, bir dakikaya kadar video oluşturabiliyor. Tek bir fotoğraftan nesnelerin ya da ortamların farklı açılardan nasıl görüneceğini tahmin edebilen Atlas, giriş görselinde yer almayan kısımları da üreterek sahneyi genişletebiliyor. Birbiriyle bağlantısı bulunmayan farklı görsellerin üç boyutlu uzayda konumlandırılması ve aralarındaki geçişlerin tek bir ortam içinde oluşturulması da mümkün.

Gerçek dünyadaki alanların 3D olarak yeniden oluşturulmasında kullanılabiliyor

Atlas, gerçek dünyadaki alanların 3D olarak yeniden oluşturulmasında da kullanılabiliyor. Model, tek bir görselden başlayarak yeni bakış açıları ve 3D geometri üretebildiği gibi, daha yüksek doğruluk gerektiğinde onlarca hatta yüzü aşkın görseli bağlam olarak işleyebiliyor. World Labs'e göre iki veya üç fotoğraf dahi birçok sahnenin yeniden oluşturulması için yeterli olabiliyor. Girdi sayısı arttıkça modelin görünmeyen alanları tahmin etme ihtiyacı azalıyor ve ortaya çıkan sonuç gerçek ortama daha fazla yaklaşıyor.

Oluşturulan sahneler yalnızca iki boyutlu görseller veya videolar şeklinde sunulmuyor. Atlas, oyun, tasarım, görsel efekt ve robotik çalışmalarında kullanılabilecek 3D nokta bulutları ile "3D Gaussian splat" formatında çıktılar da verebiliyor. Şirket, kendi testlerinde Atlas'ın seyrek görüntülerden 3D rekonstrüksiyon konusunda bu iş için özel olarak geliştirilen bazı açık kaynaklı modellerden daha iyi sonuç verdiğini belirtiyor. Ancak açıklanan performans sonuçları henüz bağımsız araştırmacılar tarafından doğrulanmış değil.

Diğer kullanım alanı: Robotik simülasyonlar

Atlas'ın bir diğer kullanım alanını robotik simülasyonlar oluşturuyor. Bir ortamın cep telefonuyla kaydedilen görüntülerinden 3D simülasyon hazırlanabiliyor; ardından sanal bir robotun bu ortamda hareket ederken kameraları ve derinlik sensörleriyle göreceği veriler üretilebiliyor. Nesnelerin konumları, aydınlatma, arka plan ve robotun hareketleri değiştirilerek eğitim ve test süreçleri için farklı senaryolar yaratılabiliyor.

World Labs, Atlas'ın gelecekte 3D dünya oluşturma platformu Marble'ın ve şirketin diğer ürünlerinin temelini oluşturacağını açıkladı. Model şimdilik yalnızca seçili iş ortaklarıyla erken erişim kapsamında kullanıma sunuluyor. Atlas'ın fiyatlandırması, genel kullanıma açılacağı tarih, model büyüklüğü ve eğitiminde kullanılan hesaplama kapasitesi ise paylaşılmadı.

Fei-Fei Li ve ekibi tarafından 2024 yılında kurulan World Labs, yapay zeka sistemlerinin fiziksel dünyayı ve üç boyutlu ilişkileri anlayabilmesini amaçlayan mekansal zeka teknolojilerine odaklanıyor. Şirket, Şubat 2026'da AMD, Autodesk, Nvidia, Fidelity ve diğer yatırımcıların katıldığı turda 1 milyar dolar yatırım almıştı. Böylece World Labs'in aldığı toplam yatırım yaklaşık 1,23 milyar dolara ulaşmıştı.

Görsel: ChatGPT