TransProse: Yazıları müziğe dönüştüren algoritma

Müzik ve edebiyatın geçmişleri birbiriyle içiçedir çoğu zaman hatta birlikte ortaya çıktığı düşünülür. Bugün geldiğimiz noktada ise kelimelerin duygusal değerlerini ölçümleyebilen yazılımlar geliştiriliyor. Geçtiğimiz yıl, İngiltere'de Twitter'ı kullanarak ulusların duygusal modlarının haritasını çıkaran araştırmayı duymuş olabilirsiniz.

Benzer şekilde, romanların duygusal değerlerini ölçen araştırmacılar olduğunu öğreniyoruz. Bunun için sezgi, kızgınlık, sevinç, iğrenme, üzüntü, şaşkınlık ve güven olmak üzere sekiz  temel his belirliyor ve romanların bu hislerden hangisine yoğunlaştığını anlamaya çalışıyorlar.

New York University'den Hannah Davis ve The National Research Council Canada'dan Saif Mohammad'sa bu çabaları bir adım ileri götürdüler ve kendi iddialarına göre ilk kez edebiyattan müzik oluşturan bir algoritma geliştirdiler. Bu algoritma, duygusal dengenin roman boyunca nasıl değiştiğini ölçüyor  ve buna uygun müzikler oluşturuyor. Bunun sonucunda ortaya çıkan Peter Pan, Alice Harikalar Diyarında, Otomatik Portakal, Einstein'in Rüyaları gibi şimdiye kadar sessizice okuduğumuz klasiklarin "doğal" müziklerini Soundcloud üzerinden yayınladılar.

Geliştirdikleri yeni algoritmanın adı TransProse ve üç aşamada çalışıyor. Önce kitabı, başlangıç, ortanın başı, ortanın sonu ve bitiş olmak üzere dört parçaya bölüyor ve her bir bölüm için bir duygusal profil oluşturuyor. Bunu bölüm boyunca bir dizi duygunun nasıl yükselip alçaldığını gösteren bir istatistik gibi düşünebilirsiniz.

Ardından algoritma, bu duyguları o bölüm için arka plan müziğini oluşturmak için kullanıyor. İşin hüner isteyen kısmı burası çünkü sonsuz olasılık var. Araştırmacılar bu sorunu belirli kurallar belirleyerek aşmışlar. Bu kurallar, kelimelerin yani duyguların yoğunluğuna göre, müziğin tempo, majör/minör anahtarı vs. öğelerinn nasıl kullanılacağını belirliyor. Fazlası da var, algoritma, metnin duygusal yoğunluğuna göre, nota sıralamalarını, perde ve eslere de karar verebiliyor. Araştırmacılar bunları birbirine bağlamayı da başarmış, böylelikle sırayla çalınan notalar yerine müzik duyuyoruz.

Ortaya çıkan eserde, dominant duyguya göre dominant bir melodi duyuyoruz ve buna var olan  diğer hislerin dışa vurumu olan ikinci ve yan melodiler eşlik ediyor.

Son aşamada ise, elde ettikleri nota sıralamasını, JFugue adını verdikleri açık kaynaklı bir yazılım kullanarak bir ses dosyasına (piyano sesi) dönüştürüyorlar.

Araştırmacılar, TransProse'un bilgiyle etkileşime geçme biçimimizi kökten değitirebileceğini iddia ediyorlar. Algoritmanın bilginin görselleştirilmesi, sesli görsel e-kitaplar ve müzik uygulamaları geliştirmede kullanılabileceğini belirtiyorlar.

Davis ve Mohammad, oluşturdukları müziklerin tamamını web'de şu adreste yayınlıyorlar.

Araştırmanın tamamına ise buradan erişebilirsiniz.