ByteDance, tek görselden 5 dakikaya kadar video üreten OmniHuman 2.0'ı kullanıma sundu

TikTok'un çatı şirketi ByteDance, yapay zeka destekli video üretim modeli OmniHuman'ın yeni sürümü OmniHuman 2.0'ı kullanıma sundu. Şirketin kurumsal yapay zeka platformu BytePlus üzerinden sunulan model, tek bir görsel ve ses kaydından 5 dakikaya kadar video oluşturabiliyor. OmniHuman 2.0, karakterlerin konuşmalarını, mimiklerini ve vücut hareketlerini ses içeriğiyle eşleştirerek gerçekçi dijital karakter videoları üretiyor.

Kullanıcılar isteğe bağlı olarak metin komutlarıyla sahnedeki hareketleri ve kamera davranışını da yönlendirebiliyor. OmniHuman 2.0'ın öne çıkan yeniliklerinden biri, yalnızca dudak senkronizasyonuna odaklanmak yerine sesin ritmini, tonlamasını ve anlamını da karakter hareketlerine yansıtması. BytePlus'a göre model, ses içeriğini analiz ederek uygun jestler ve duygusal tepkiler oluşturabiliyor. Böylece karakterin söyledikleriyle beden dili arasında daha doğal bir uyum hedefleniyor.

Model aynı zamanda metin komutları üzerinden nesne üretimi, belirli hareketler ve kamera hareketlerinin kontrol edilmesine imkan tanıyor. Çok karakterli sahneler de desteklenirken, sistem yalnızca insan görselleriyle sınırlı değil. Hayvanlar, 3D karakterler ve farklı görsel stillerdeki karakterler de hareketlendirilebiliyor. Prompt aracılığıyla referans görselde bulunmayan bazı öğelerin sahneye eklenmesi de mümkün.

5 dakikaya kadar video oluşturabiliyor

BytePlus'ın paylaştığı bilgilere göre OmniHuman 2.0, 30 saniyeden 300 saniyeye kadar, yani 5 dakikaya ulaşan videolar üretebiliyor. Şirket ayrıca yeni sürümde hareket kalitesinin geliştirildiğini ve maliyetin yüzde 40 düşürüldüğünü belirtiyor. Modelin kullanım fiyatı saniye başına 0,07 dolar olarak açıklanıyor.

OmniHuman 2.0'ın kullanım alanları arasında reklam ve marka içerikleri, kısa videolar, film ve televizyon prodüksiyonları, yapay zeka müzik videoları ve kullanıcı tarafından oluşturulan içerikler yer alıyor. Özellikle müzik videolarında ritme bağlı hareketler, müziğin duygusuna göre değişen performanslar ve dinamik kamera hareketleri üretilebiliyor. BytePlus, OmniHuman 2.0'ı API üzerinden geliştiricilerin kullanımına da açıyor. Böylece şirketler modeli kendi içerik üretim araçlarına, pazarlama çözümlerine veya dijital karakter uygulamalarına entegre edebilecek.