Adobe'nin fotoğraf düzenlemeye odaklanan yapay zeka modeli: Magic Fixup

Adobe, videodan öğrenen ve fotoğraf düzenlemeye odaklanan yeni yapay zeka modeli Magic Fixup'ı yayınladı. Önceki modeller, yalnızca statik görüntülerden öğrenmekteydi. Magic Fixup'ın sistemi ise milyonlarca video karesi çiftinden öğreniyor. Bu yeni yöntem sayesinde yapay zeka, nesnelerin ve sahnelerin değişen ışık, perspektif ve hareket koşulları altında nasıl değiştiğini anlayabiliyor. 

Magic Fixup'ın eğitim süreci

Adobe araştırmacılarının makalelerinde yer alan bilgilere göre; ekip, her bir örnekte rastgele seçilmiş zaman aralıklarında aynı videodan çıkarılan bir çift kaynak ve hedef kare olduğu bir görüntü veri kümesi oluşturuyor. Ekip, beklenen test zamanı kullanıcı düzenlemelerini taklit eden iki hareket modeli kullanıyor. Böylece ekip, kaynak kareyi hedefe doğru çarpıtıyor. 

Kullanıcılar Magic Fixup ile neler yapabilir? 

Bahsi geçen eğitim süreci neticesinde Magic Fixup, daha önce yapay zeka sistemleri için zor olan düzenlemeleri gerçekleştirebiliyor. Kullanıcılar, kes-yapıştır tarzı manipülasyonlar ile bir görüntüde nesnelerin yeniden konumlandırılmasını sağlayabiliyor. Aynı şekilde nesnelerin boyutlarının değiştirilmesi de mümkün. Sistemin önemli değişiklikler yaparken görüntü bütünlüğünü koruma yeteneğine sahip olduğunu da belirtelim. 

Magic Fixup nasıl çalışıyor? 

Araştırma ekibi, kullandıkları yöntemin, orijinal görüntüdeki ince ayrıntıları aktardığını ve parçaların kimliğini koruduğunu belirtiyor. Bununla birlikte, söz konusu yöntem, bu öğeleri, yeni düzen tarafından tanımlanan ışıklandırma ve bağlama uyarlıyor. 

Magic Fixup bir detay çıkarıcı ve bir sentezleyici olmak üzere iki difüzyon modeli kullanıyor. Bu iki modelin işlem hattı paralel olarak çalışıyor. Detay çıkarıcı, referans görüntüyü ve görüntünün gürültülü bir versiyonunu işleyerek senteze rehberlik ediyor. Bununla beraber, detay çıkarıcı, orijinal görüntüdeki ince detayları koruyan özellikler üretiyor. Sentezleyici ise daha sonra kullanıcının yapacağı düzenlemelere ve çıkarılan ayrıntılara bağlı olarak bir çıktı ortaya koyuyor. 

Magic Fixup, reklamcılıkta karmaşık görsel konseptleri hızla bir prototip haline getirebilir. Üstelik iş akışında sanat yönetmenleri, kapsamlı fotoğraf çekimleri veya zaman alan manuel düzenleme gibi süreçleri devre dışı bırakabilir. Benzer şekilde sinema ve TV yapımcıları da Magic Fixup'ı kullanarak görsel efekt iş akışlarını kolaylaştırıp maliyetleri düşürebilir. 

Şimdiye kadar hayata geçirdiği araçları, lisanslar ile koruyan Adobe, Magic Fixup'ın araştırma kodunu GitHub'da yayınlayarak pek çok kişiyi şaşırttı. Yapay zeka modellerinin açık kaynak olarak yayınlanması, piyasadaki rekabet etme gücünü de etkiliyor. Bu nedenle şirket, bu yaklaşımı benimsemiş olabilir. Öte yandan Adobe'nin Magic Fixup'ı ne zaman Creative Cloud paketine entegre edeceği ise henüz bilinmiyor.