Görüntü oluşturma aracı Stable Diffusion ile tanınan açık üretken yapay zeka girişimi Stability AI, üç boyutlu video için yapay zeka modelleri geliştirmeye devam ediyor. Şirketin bugün duyurulan en yeni modeli, bir nesnenin tek bir açıdan çekilmiş tek bir videosunu alıp birden fazla açıdan yeniden üretebiliyor.
Stable Video 4D adı verilen model, üç boyutlu bir nesnenin videosunu, aynı nesnenin sekiz farklı perspektiften çok açılı görünümlerine dönüştürebiliyor. Böylece nesnelerin hareketi ve görünümü farklı açılardan yeniden üretilebiliyor.
Yeni model, şirketin kasım ayında piyasaya sürdüğü Stable Video Diffusion modelinin temeline dayanıyor. Stable Video modeli hareketsiz bir görüntüyü alıp hareket de dahil olmak üzere gerçekçi bir videoya dönüştürebiliyor. Şirketten yapılan açıklamada, “Stable Video 4D modeli bir videoyu girdi olarak alıyor ve farklı perspektiflerden birden fazla yeni görünümlü video üretiyor. Bu ilerleme, görüntü tabanlı video üretiminden tam 3D dinamik video sentezine geçerek yeteneklerimizde bir sıçramayı temsil ediyor.” ifadesi kullanıldı.
Yeni model, şirketin bu alandaki ilk çalışması değil, Stability AI, mart ayında da nesnelerin görüntülerini alabilen ve görüntüye dayalı olarak bu nesnelerin dönen üç boyutlu videolarını üretebilen Stable Video 3D'yi tanıtmıştı.
Stable Video 3D'nin aksine, yeni Stable Video 4D, bir nesnenin hareketini idare edebilmesi için yeteneklerine eklemeler yapıyor. Stable Video 3D modeline benzer şekilde Stable Video 4D'nin de gerekli ek perspektifleri üretmek için nesnenin göremediği kısımlarını yorumlaması gerekiyor. Ayrıca nesneyi ve bileşenlerini anlayarak görünmeyen hareketleri de yeniden üretiyor.
Sekiz perspektifte beş karelik videoları yaklaşık 40 saniyede üretebiliyor
Araştırmacılara göre Stable Video 4D şu anda sekiz perspektifte beş karelik videoları yaklaşık 40 saniyede üretebiliyor ve tüm optimizasyon süreci yaklaşık 20 ila 25 dakika sürüyor. Araştırma ekibi, önceki çalışmalarını temel alarak çoklu görünüm yayılımına yeni bir yaklaşım kullanarak, hem kareler hem de farklı perspektifler arasında üç boyutlu videoyu aslına sadık bir şekilde yeniden üretebilen bir model ürettiğini söyledi.
Stability AI, modelin henüz araştırma aşamasında olmasına rağmen Stable Video 4D'nin, film prodüksiyonu, artırılmış gerçeklik, sanal gerçeklik, oyun ve hareketli nesnelerin dinamik görünümlerine ihtiyaç duyulacak diğer endüstriler için önemli bir yenilik olacağını söyledi.
İlk Yorumu yazmak ister misiniz?
Yorum Yazmak için Giriş Yap