Nvidia, 3D avatarlar için gerçekçi yüz animasyonları üreten Audio2Face'i açık kaynak olarak sundu

Nvidia, 3D avatarlar için gerçekçi yüz animasyonları üreten, yapay zeka destekli aracı Audio2Face'i açık kaynak olarak geliştiricilerin ilgisine sunduğunu duyurdu. Sesin akustik özelliklerini analiz ederek çalışan Audio2Face, 3D avatarın yüz ifadeleri ve dudak hareketleriyle eşleşen animasyon verileri oluşturuyor. Kısacası Audio2Face, üretken yapay zeka kullanarak ses girişini gerçekçi yüz animasyonlarına dönüştürüyor. Bu sayede araç, dijital karakterler için doğru dudak senkronizasyonu ve ifade gücü yüksek duygular sağlıyor.

Geliştiriciler, artık bu aracı ve onun temelini oluşturan framework'ü kullanarak oyunları ve uygulamaları için gerçekçi 3D karakterler oluşturabilecek. Nvidia'nın belirttiğine göre geliştiriciler, bu aracı önceden yazılmış içerikler ve canlı yayınlar için 3D karakterler oluşturmakta kullanabilecek.

Chernobylite 2: Exclusion Zone'un yaratıcısı Farm51 ve Alien: Rogue Incursion Evolved Edition'ın geliştiricileri de dahil olmak üzere bazı geliştiriciler, oyunlarında Audio2Face'i zaten kullanmaya başladı. Survios, Alien: Rogue Incursion Evolved Edition'da yüz yakalama işlemini kolaylaştırırken, The Farm 51 ise Chernobylite 2: Exclusion Zone'da animasyon süresini kısaltmak ve daha gerçekçi karakter performansları sunmak için bu teknolojiyi kullandı. Reallusion, bu aracı 3D karakter platformuna entegre ederek iClone, Character Creator ve AccuLip ile iş akışlarını geliştirdi. Bu teknolojiyi benimseyen diğer şirketler arasında Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Perfect World Games, Streamlabs ve UneeQ Digital Humans yer alıyor.

Audio2Face modellerini ve yazılım geliştirme kitlerini açık kaynak olarak sunmanın yanı sıra, Nvidia, aracın eğitim framework'ünü de kullanıma sunuyor. Böylece kullanıcılar, farklı kullanım durumları için modellerini ayarlayabiliyor. Ayrıca yapay zeka yüz animasyonu etrafında topluluk odaklı bir ekosistem oluşturmayı hedefleyen Nvidia, geliştiricileri özel Discord topluluğuna katılmaya da teşvik ediyor.