Meta paylaştığı bir blog gönderisiyle ImageBind isimli yeni yapay zeka aracını açık kaynaklı hale getirdiğini duyurdu. ImageBind, veriler arasındaki bağlantılara dair tahminleri insanların çevrelerini algılamasına ya da hayal etmesine benzer bir şekilde gerçekleştiriyor.
Üretimsel yapay zeka alanında öne çıkan Midjourney, Stable Diffusion ve DALL-E 2 gibi metne dayalı görsel üreten yapay zeka araçları kelimeleri görseller ile eşleştirirken, ImageBind, daha geniş bir ağ ile hareket ediyor. ImageBind, metinleri, görselleri, videoları, sesleri, derinlik gibi 3 boyutlu ölçümleri, ısı verilerini ve hareket verilerini birbiriyle ilişkilendirebiliyor.
Şu an için erken aşama bir framework olarak konumlanan olan ImageBind, metin, video ya da ses destekli bir komuttan görece daha karmaşık ortamlar üretebilecek. Bu bağlamda ImageBind, makine öğrenimini insan öğrenimine yaklaştırıyor. Yani yapay zeka, çoklu duyusal bağlantıları taklit etmeye yaklaşırken, bu bağlantıları sınırlı veri parçalarına dayanan tamamen gerçekleştirilmiş sahneler oluşturmak için kullanabilir.
Bir komut üzerinden yola çıkalım. Midjourney için yazdığınız "Bir av köpeği steampunk temalı bir kır evinde bir tavşanı kovalıyor" komutu görece birebir bir şekilde görsele yansıtılırken, ImageBind, bu komutu kovalama ve havlama seslerini içeren, belki bir oturma odasını resmeden ve aynı odanın ısısını yansıtan bir videoya dönüştürebilir.
Bu yaklaşım aynı zamanda statik görselleri sesli komutlarla eşleştirerek video animasyonlar yaratılmasını da sağlayabilir. Meta'nın paylaştığı blog gönderisinde yer alan ifadelere göre bir içerik üretici, saat içeren bir görseli bir horoz ile eşleştirerek saatin alarmının horoz sesine sahip olduğu bir video ortaya koyabilir.
Son olarak ImageBind'ın Meta'nın metaverse vizyonunda önemli bir role sahip olacağını da söylemek mümkün. Horizon Worlds başta olmak üzere uzun süredir sanal gerçeklik ve karma gerçekliğe odaklanan ve birbirinden farklı başlıklarla kullanıcıların ilgisine sunan şirket, yapay zeka destekli ortamlar yaratmakta ImageBind'dan faydalanabilir. Aynı şekilde oyun tasarımı süreçlerinde de ImageBind'ın kullanılabileceğini belirtelim. ImageBind hakkında detaylı bir çalışma yapmak isteyenler Meta yapay zeka ekibinin hazırladığı dokümanı ve kodu inceleyebilir.
Görsel Kaynak: Deposit Photos
İlk Yorumu yazmak ister misiniz?
Yorum Yazmak için Giriş Yap