Bir Meyve Sineğine Müzik Yaptırdım. İşte Olanlar.

GİRİŞ

Bir meyve sineğinden müzik yapmasını istedim.

Ona bir beyin, bir tür ve basit bir talimat verdim:

Kulağa güzel gelen bir şey yap.

Birkaç dakika sonra ortaya bir müzik parçası çıkarmıştı.

Rastgele bip sesleri değil. Nöronların ateşlenmesini notalara dönüştüren basit bir sistem de değil.

Gerçek bir müzikal yapı.

Dolayısıyla insanın aklına gelen ilk soru şu:

Bir meyve sineği nasıl müzik yapmayı biliyor?

Kısa cevap: Bilmiyor.

Ama bu cevaba ulaşmak için makinenin içine bakmamız gerekiyor.

1. SİNEK

Meyve sineklerinin müzik yapmakla hiçbir ilgisi yok.

Evrim onları melodi yazmaları için şekillendirmedi. Armoniden anlamıyorlar. Hiçbir zaman bir House parçası dinleyip "Şu kick biraz daha güçlü olmalı." diye düşünmediler.

Beyinleri çok daha pratik problemleri çözmek üzere evrimleşti: görmek, hareket etmek, çevrelerini algılamak, yiyecek bulmak, tehlikelerden kaçınmak ve hayatta kalmak.

Fakat tüm bunların altında büyüleyici bir şey yatıyor: birbirine bağlı devasa bir nöron ağı.

Bu ağı yeniden oluşturabilirseniz, onu mutlaka doğanın başlangıçta tasarladığı amaç için kullanmak zorunda değilsiniz.

İşte bu bana bir fikir verdi.

Bir meyve sineğinin beynindeki bağlantı şemasını alıp tamamen farklı bir probleme uygulasaydım ne olurdu?

Peki ya bu problem müzik olsaydı?

2. BEYİN

Sistemin biyolojik kısmı, meyve sineğinin sinir sistemindeki bağlantıları dijital bir connectome olarak yeniden oluşturan FlyWire projesinden geliyor.

Bu deneyde FAFB v783 veri setini ve gerçek sinaptik bağlantılarıyla birlikte 8.192 nörondan oluşan bir çalışma alt ağını kullandım.

Bu, besteciye oldukça sıra dışı bir şey kazandırıyor: özellikle müzik için tasarlanmış geleneksel bir yapay sinir ağı yerine, gerçek bir biyolojik ağ.

Nöronlar yönlü bir grafik olarak birbirine bağlanmış durumda. Aktivite bu grafik boyunca yayılabiliyor ve ortaya çıkan dinamikler, sistemin karar verme sürecinin bir parçası hâline geliyor.

Fakat hâlâ oldukça büyük bir sorun vardı.

Sinek beyni müzik hakkında hiçbir şey bilmiyor.

Nöronları bir synthesizer'a bağlayıp bir hit parça çıkmasını bekleyemezdim.

Bir nöronun ateşlenmesi "Do minör akoru çal" anlamına gelmiyor. Başka bir nöron da "kick'i dördüncü vuruşa koy" demiyor. Biyolojik ağın bu kavramlardan herhangi birini anlaması için hiçbir sebebi yok.

Dolayısıyla sinekten müziği anlamasını istemek yerine, onun etrafında bir müzik dünyası kurdum.

3. MAKİNEYE MÜZİĞİN NASIL BİR ŞEY OLDUĞUNU ÖĞRETMEK

Bestecinin keşfetmeye başlayabilmesi için önce bir müzik dağarcığına ihtiyacı var.

Bu dağarcığın bir bölümü MIDI ve MusicXML veri setlerinden geliyor.

• MAESTRO v3.0.0 piyano performansları ve müzikal ilişkiler sunarak sistemin armoni, melodi, ses yürüyüşü, zamanlama ve diğer sembolik müzikal yapıları öğrenmesine yardımcı oluyor.
• Groove MIDI v1.0.0 insan davul performansları ve ritimlerin mekanik değil, daha doğal hissettirmesini sağlayan zamanlama kalıpları sunuyor.

Ancak yalnızca MIDI kullanmanın bir sınırı var.

MIDI makineye müzikal olaylar hakkında bilgi verebilir, fakat belirli bir müzik türünün tamamlanmış hâlinin gerçekte nasıl duyulduğunu tam olarak anlatamaz.

Bu yüzden sisteme yeni bir şey ekledim.

Referans parçalar.

Artık gerçek referans parçalarını türlere özel klasörlere yerleştirip bestecinin bunları analiz etmesini sağlayabiliyorum.

Sisteme House müziğinin elle belirlenmiş belirli bir ritme veya enerji profiline sahip olması gerektiğini söylemek yerine, referans ses kayıtlarından karakteristik özellikleri çıkarabiliyor ve türün kompakt bir temsilini oluşturabiliyor.

Ritim, bas hareketliliği, armonik ve melodik özellikler, yoğunluk, aranjman, cümle yapısı ve enerji gibi unsurlara bakıyor.

Ortaya çıkan şey önceden eğitilmiş bir ses üretim modeli değil.

Bu, referans müziğin gerçekte nasıl davrandığını gösteren istatistiksel bir parmak izi.

4. ŞİMDİ BİR ŞARKI YAPALIM

İşte bütün parçaların nihayet bir araya geldiği nokta burası.

Bestecinin yeni bir House parçasına başladığını düşünün.

Önce FlyWire ağı aktif hâle geliyor.

Ağın aktivitesi bestecinin içindeki kararları etkiliyor: tempo, tonal seçimler, müzikal olasılıklar ve üretim sırasında keşfedilen yönler.

Ardından sistem müzikal fikir adayları üretmeye başlıyor.

Tek bir tane değil.

Birçoğunu.

Motifler. Müzikal cümleler. Akor dizileri. Bas yürüyüşleri. Davul kalıpları.

Bazıları umut verici.

Bazıları korkunç.

Çoğu ise bu ikisinin arasında bir yerde.

İşte tam burada makine ikinci beynine kavuşuyor.

Eleştirmen

Her aday otomatik olarak değerlendiriliyor.

Eleştirmen; armoni, melodi, ritim, müzikal cümle yapısı, form, gerilim, yenilikçilik, ses yürüyüşü, öğrenilmiş müzikal uyum ve en önemlisi tür kimliği gibi birden fazla boyutu değerlendiriyor.

Teknik olarak kulağa hoş gelen ama istenen türle hiçbir ilgisi olmayan bir parça artık yeterince iyi sayılmıyor.

Sistem bir yere aitmiş gibi hissettiren bir şey üretmek zorunda.

Zayıf adaylar eleniyor.

Güçlü adaylar hayatta kalıyor.

Sonra Evrimleşiyorlar

Hayatta kalan adaylar mutasyona uğratılıyor ve yeniden değerlendiriliyor.

Bir müzikal cümle değişebilir.

Bir bas kalıbı yer değiştirebilir.

Bir davul vurgusu ortaya çıkabilir veya kaybolabilir.

Bir akor değişebilir.

Ardından yeni versiyon tekrar eleştirmenin karşısına çıkıyor.

Üret → Değerlendir → Seç → Mutasyona Uğrat → Tekrarla

Bu süreç nesiller boyunca devam ediyor ve sistemin birbiriyle yarışan gereksinimlerini karşılayan müzikal yapıları giderek daha iyi bir şekilde aramasını sağlıyor.

5. MAKİNE ARTIK TÜRÜ DİNLİYOR

Bestecinin yeni sürümündeki en büyük değişikliklerden biri bu.

Referans parçalar artık sadece bir klasörde duran ve insanın açıp dinleyebileceği örneklerden ibaret değil.

Program onları analiz ediyor.

Ritimsel parmak izleri gerçek nota yerleşimlerini etkileyebiliyor. Enerji profilleri aranjmanın nasıl gelişeceğini etkileyebiliyor. Referanslardan elde edilen bilgiler ayrıca FlyWire aktörüne ek bağlam olarak aktarılabiliyor.

Yani bir House referansı, makineyi kendisine verilen House parçalarında bulunan ritmik davranışlara, yoğunluğa ve enerji kalıplarına doğru yönlendirebiliyor.

Aynı prensip diğer türlere de uygulanabilir.

Ve burada önemli bir ayrım ortaya çıkıyor.

Besteciye yalnızca:

"Bu House. Şimdi House yap."

denmiyor.

Bunun yerine hedefin gerçekte nasıl duyulduğunu gösteren örnekler veriliyor ve bu örneklerden ölçülebilir karakteristikler çıkarılıyor.

Öğrenilen bu temsil daha sonra besteleme sürecinin içindeki başka bir etki unsuru hâline geliyor.

House İçin Neden Önemli?

Bu özellikle House ve French House için önemli hâle geldi.

Önceki nesiller müzikal açıdan tutarlı parçalar üretebiliyordu, ancak ortaya çıkan sonuçlar dans pistine yönelik bir müzikten çok lounge veya genel elektronik müzik hissi verebiliyordu.

Yeni sistem tür kimliğine çok daha fazla ağırlık veriyor.

House armonisi daha kompakt ve tekrarlanan müzikal cümleler içinde tutuluyor. Kick kalıbı türün temel unsurlarından biri olarak ele alınıyor. Clap ve snare'ler backbeat'i güçlendiriyor. Offbeat hi-hat'ler ve perküsyon, öğrenilen referans ritmi doğrultusunda şekillendirilebiliyor. Bas hareketleri ise daha belirgin bir dans müziği groove'una doğru yönlendiriliyor.

Aranjman da en az bunlar kadar önemli.

Bir dans parçası doğru notalardan fazlasına ihtiyaç duyar. Hareket gerekir: giriş, yükseliş, ana bölümler, breakdown ve yeniden giriş.

Bu nedenle yeni aranjman katmanı, açık ve belirgin bir dans pisti yapısını korurken öğrenilmiş enerji parmak izinden yararlanıyor.

6. PEKİ... ŞARKIYI GERÇEKTEN SİNEK Mİ BESTELEDİ?

Hayır.

Bilgisayarın içinde saklanan küçücük bir meyve sineği Mozart'ı yok.

Sinek beyni parçayı dinleyip nakaratı beğenip beğenmediğine karar vermiyor.

House'u anlamıyor.

Akorları anlamıyor.

Aslında müziği hiç anlamıyor.

Ve deneyi ilginç yapan şey de tam olarak bu.

Connectome, çok daha büyük bir sistemin içinde biyolojik bir hesaplama altyapısı olarak kullanılıyor.

Müzikal veri setleri öğrenilmiş sembolik ilişkileri sağlıyor.

Referans parçalar, türe özgü istatistiksel parmak izlerini sağlıyor.

Müzikal kurallar olasılıkları sınırlandırıyor.

FlyWire ağı keşif sürecini etkiliyor.

Eleştirmen ortaya çıkan sonucu değerlendiriyor.

Evrim, daha iyi fikirleri koruyor ve onları değiştiriyor.

Yani şarkı yalnızca sinek beyninden çıkmıyor.

Ortaya çıkan sonuç, tüm bu bileşenlerin birbiriyle etkileşiminden doğuyor.

Sinek müziğin ne olduğunu bilmiyor.
Bilmesine de gerek yok.

7. BU DENEY GERÇEKTE NE GÖSTERİYOR?

Bu deney, meyve sineklerinin gizliden gizliye müzisyen olduğunu göstermiyor.

Çok daha kullanışlı bir şeyi gösteriyor.

Biyolojik bir sinir ağı dijital olarak yeniden oluşturulabilir ve evrimleştiği ortamdan tamamen farklı bir hesaplama ortamının içine yerleştirilebilir.

Bu deneyde o ortam bir müzik üretim sistemi.

İlginç olan, bileşenlerden herhangi birinin tek başına müzik yapabilmesi değil.

Asıl ilginç olan, birbirlerine bağlandıklarında ne olduğu.

• FlyWire gerçek biyolojik topolojiyi ve nöral dinamikleri sağlıyor.
• Müzikal veri setleri sembolik müzik bilgisini sağlıyor.
• Referans parçalar türe özgü ses ve davranışın ölçülebilir örneklerini sağlıyor.
• Eleştirmen seçilim baskısını sağlıyor.
• Evrim olası bestelerin devasa uzayında arama yapıyor.

Bu parçaların hiçbiri tek başına eksiksiz bir besteci değil.

Ama bir araya geldiklerinde, hiçbirinin tek başına üretemeyeceği bir şey ortaya çıkarabiliyorlar.

8. PEKİ, GERÇEKTEN KULAĞA İYİ GELİYOR MU?

İşte burada dürüst olmam gerekiyor.

Her üretim iyi değil.

Bazıları şaşırtıcı derecede ikna edici.

Bazıları ise tekrarlı, tuhaf veya basitçe türü ıskalıyor.

Bu beklenen bir durum. Sistem devasa bir müzikal olasılıklar uzayında arama yapıyor ve eleştirmen hâlâ insanın müzikal yargısının yalnızca bir yaklaşımından ibaret.

Bu Suno değil.

Profesyonel bir prodüktör de değil.

Ve hiçbir zaman öyleymiş gibi davranmak amaçlanmadı.

Amaç çok daha tuhaf bir soruya cevap bulmaktı:

Biyolojik bir beynin bağlantı yapısı, evrimsel olarak hiç üretmek üzere tasarlanmadığı bir şeyi üreten bir makinenin parçası hâline gelebilir mi?

Şimdilik görünen o ki cevap evet.

9. NASIL YAPILDI?

Buraya gelmek, fikrin son hâlinin kulağa geldiğinden çok daha az gösterişliydi.

Projenin geliştirilmesi tam bir hafta sürdü ve 7.000'den fazla satır Python kodu ortaya çıktı.

Sistem; sembolik müzik, sayısal hesaplama, bilimsel veri işleme, FlyWire bağlantıları, ses çözümleme, kalıcı öğrenme, tür analizi, evrimsel arama, MIDI üretimi ve profesyonel ses render'ı için kullanılan kütüphaneleri ve sistemleri bir araya getiriyor.

Besteci ayrıca kalıcı bir öğrenilmiş durum tutuyor. Böylece sistem her seferinde sıfırdan başlamak yerine bilgisini geliştirmeye devam edebiliyor.

Neyin işe yaradığını ve belki de daha önemlisi neyin korkunç derecede kötü duyulduğunu keşfetmek için yüzlerce deneysel çalışma gerekti.

Son kısım önemli.

Nota üretebilen bir sistem yapmak kolay.

Gerçekten dinlemek isteyeceğiniz bir şey üreten bir sistem yapmak ise çok daha zor.

10. SIRADA NE VAR?

Mevcut sistem hâlâ bir deney.

Biyolojik ağ daha büyük veya daha özelleşmiş hâle getirilebilir. Müzikal hafıza zenginleştirilebilir. Referans temsilleri daha gelişmiş hâle getirilebilir. Eleştirmen, bir besteyi yalnızca teknik açıdan geçerli olmaktan çıkarıp gerçekten etkileyici yapan şeyleri daha iyi anlayacak şekilde geliştirilebilir.

Ve daha da büyük bir ihtimal var.

Müzik yalnızca başlangıç olabilir.

Biyolojik bir sinir mimarisi yaratıcı bir sistemin içine yerleştirilebiliyorsa, başka neler yapabilir?

Görüntü üretimi?

Ses tasarımı?

Oyun davranışları?

Optimizasyon?

Henüz kimsenin denemeyi akıl etmediği bir şey?

Genellikle biyolojik beyinlerden esinlenen yapay sistemler inşa ediyoruz.

Bu deney ise farklı bir yaklaşım benimsiyor.

Biyolojik zekâyı yalnızca taklit etmeyi bırakıp
gerçek olanı hesaplama malzemesi olarak kullanmaya başlasaydık ne olurdu?

Şimdilik meyve sineğinin yeni bir işi var.

Müzik yapıyor.