English
Türkçe
Ich habe ein Fruchtfliegenhirn Musik komponieren lassen. Das ist dabei passiert.
Ich habe ein digitalisiertes Fruchtfliegen-Connectom an eine evolutionäre Musik-Engine angeschlossen. Was dabei herauskam, war kein Zufallsrauschen – und es gibt einen faszinierenden Einblick in die Zukunft biologischer Rechensubstrate.
EINLEITUNG
Ich habe eine Fruchtfliege gebeten, Musik zu machen.
Ich gab ihr ein Gehirn, ein Genre und eine einfache Anweisung:
Mach etwas, das gut klingt.
Ein paar Augenblicke später hatte sie ein Musikstück hervorgebracht.
Kein zufälliges Gepiepse. Keine Übersetzung von Neuronenfeuern in Noten.
Sondern echte musikalische Struktur.
Da stellt sich natürlich sofort die erste Frage:
Woher weiß eine Fruchtfliege, wie man Musik macht?
Die kurze Antwort: Sie weiß es nicht.
Um zu dieser Antwort zu kommen, müssen wir einen Blick ins Innere der Maschine werfen.
1. DIE FLIEGE
Fruchtfliegen haben mit Musikmachen überhaupt nichts am Hut.
Sie sind nicht dafür entstanden, Melodien zu schreiben. Von Harmonik verstehen sie nichts. Sie haben noch nie einen House-Track gehört und gedacht: „Die Kick braucht mehr Druck.“
Ihre Gehirne haben sich entwickelt, um weitaus praktischere Probleme zu lösen: sehen, sich bewegen, die Umgebung wahrnehmen, Nahrung finden, Gefahren ausweichen und überleben.
Doch darunter verbirgt sich etwas Faszinierendes: ein riesiges Netzwerk miteinander verbundener Neuronen.
Wenn man dieses Netzwerk rekonstruieren kann, muss man es nicht zwangsläufig für den Zweck einsetzen, für den die Natur es ursprünglich hervorgebracht hat.
Und genau das brachte mich auf eine Idee.
Was wäre, wenn ich die Verschaltung im Gehirn einer Fruchtfliege nehmen und auf ein völlig anderes Problem anwenden würde?
Was wäre, wenn dieses Problem Musik wäre?
2. DAS GEHIRN
Der biologische Teil des Systems stammt aus FlyWire, einem Projekt, das die neuronale Verschaltung des Nervensystems der Fruchtfliege als digitales Connectom rekonstruiert.
Für dieses Experiment habe ich den Datensatz FAFB v783 und ein Arbeits-Subnetz aus 8.192 Neuronen einschließlich ihrer realen synaptischen Verbindungen verwendet.
Damit bekommt der Composer etwas ziemlich Ungewöhnliches: ein echtes biologisches Netzwerk statt eines herkömmlichen künstlichen neuronalen Netzwerks, das speziell für Musik entwickelt wurde.
Die Neuronen sind als gerichteter Graph miteinander verbunden. Aktivität kann sich durch diesen Graphen ausbreiten, und die daraus entstehenden Dynamiken werden zu einem Teil des Entscheidungsprozesses des Systems.
Doch es gab noch ein ziemlich großes Problem.
Das Fruchtfliegenhirn weiß absolut nichts über Musik.
Ich konnte die Neuronen also nicht einfach mit einem Synthesizer verbinden und auf den nächsten Hit warten.
Das Feuern eines Neurons bedeutet nicht „Spiele einen c-Moll-Akkord“. Ein anderes Neuron bedeutet nicht „Setze die Kick auf die vierte Zählzeit“. Das biologische Netzwerk hat keinen Grund, irgendeines dieser Konzepte zu verstehen.
Also versuchte ich nicht, der Fliege Musik beizubringen. Stattdessen baute ich eine musikalische Welt um sie herum.
3. DER MASCHINE BEIBRINGEN, WIE MUSIK FUNKTIONIERT
Bevor der Composer mit der Suche beginnen kann, braucht er zunächst ein musikalisches Vokabular.
Ein Teil dieses Vokabulars stammt aus MIDI- und MusicXML-Korpora.
- MAESTRO v3.0.0 liefert Klavierperformances und musikalische Zusammenhänge, anhand derer das System Harmonik, Melodik, Voice Leading, Timing und andere symbolische musikalische Strukturen erlernen kann.
- Groove MIDI v1.0.0 liefert menschliche Schlagzeugperformances und Timing-Muster, die dafür sorgen, dass Rhythmen weniger mechanisch wirken.
Doch MIDI allein hat eine Grenze.
Es kann der Maschine viel über einzelne musikalische Ereignisse erzählen, erfasst aber nicht vollständig, wie ein fertiges Genre tatsächlich klingt.
Also habe ich etwas Neues hinzugefügt.
Referenztracks.
Jetzt kann ich echte Referenztracks in genrespezifische Ordner legen und den Composer diese analysieren lassen.
Statt dem Programm von Hand vorzugeben, dass House einen bestimmten Rhythmus oder ein bestimmtes Energieprofil haben soll, kann das System Merkmale aus den Referenzaufnahmen extrahieren und daraus eine kompakte Repräsentation des Genres erstellen.
Es betrachtet unter anderem Rhythmik, Bassbewegung, harmonische und melodische Merkmale, Dichte, Arrangement, Phrasenverhalten und Energie.
Das Ergebnis ist kein vortrainiertes Audiogenerationsmodell.
Es ist vielmehr ein statistischer Fingerabdruck dessen, wie sich die Referenzmusik tatsächlich verhält.
4. JETZT MACHEN WIR EINEN SONG
Hier kommen endlich alle Teile zusammen.
Stell dir vor, der Composer beginnt mit einem neuen House-Track.
Zuerst wird das FlyWire-Netzwerk aktiv.
Seine Aktivität beeinflusst Entscheidungen innerhalb des Composers: Tempo, tonale Entscheidungen, musikalische Möglichkeiten und die Richtungen, die während der Generierung erkundet werden.
Anschließend beginnt das System, musikalische Kandidaten zu erzeugen.
Nicht einen.
Viele.
Motive. Phrasen. Akkordfolgen. Basslines. Drum-Patterns.
Einige klingen vielversprechend.
Andere klingen furchtbar.
Die meisten liegen irgendwo dazwischen.
Und genau hier bekommt die Maschine ihr zweites Gehirn.
Der Critic
Jeder Kandidat wird automatisch bewertet.
Der Critic betrachtet die Komposition aus mehreren Blickwinkeln: Harmonik, Melodik, Rhythmik, Phrasenstruktur, Form, Spannung, Innovation, Voice Leading, erlernte musikalische Passung und – besonders wichtig – Genre-Identität.
Ein Stück, das technisch gut klingt, aber überhaupt nicht nach dem gewünschten Genre klingt, reicht jetzt nicht mehr aus.
Das System muss etwas hervorbringen, das sich tatsächlich nach einem Stück anfühlt, das in dieses Genre gehört.
Schwache Kandidaten werden aussortiert.
Starke Kandidaten überleben.
Dann beginnt die Evolution
Die überlebenden Kandidaten werden mutiert und erneut bewertet.
Eine Phrase kann sich verändern.
Ein Bass-Pattern kann verschoben werden.
Ein Schlagzeugakzent kann auftauchen oder verschwinden.
Ein Akkord kann sich ändern.
Und dann landet die neue Version wieder beim Critic.
Generieren → Bewerten → Auswählen → Mutieren → Wiederholen
Dieser Prozess läuft über mehrere Generationen hinweg und sucht dabei Schritt für Schritt nach musikalischen Strukturen, die den unterschiedlichen Anforderungen des Systems gerecht werden.
5. DIE MASCHINE HÖRT JETZT AUCH AUF DAS GENRE
Das ist eine der größten Veränderungen in der neueren Version des Composers.
Die Referenztracks liegen nicht einfach nur als Beispiele in einem Ordner, die sich ein Mensch anhören kann.
Das Programm analysiert sie.
Ihre rhythmischen Fingerabdrücke können die tatsächliche Notenplatzierung beeinflussen. Ihre Energieprofile können beeinflussen, wie sich das Arrangement entwickelt. Die Informationen aus den Referenztracks können außerdem als zusätzlicher Kontext in den FlyWire-Actor einfließen.
Eine House-Referenz kann die Maschine also gezielt in Richtung der rhythmischen Verhaltensweisen, der Dichte und der Energieverläufe lenken, die in den bereitgestellten House-Tracks zu finden sind.
Dasselbe Prinzip lässt sich auch auf andere Genres anwenden.
Und genau hier wird ein wichtiger Unterschied deutlich.
Dem Composer wird nicht einfach gesagt:
„Das ist House. Mach jetzt House.“
Stattdessen bekommt er Beispiele dafür, wie das gewünschte Genre tatsächlich klingt, und extrahiert daraus messbare charakteristische Merkmale.
Diese gelernte Repräsentation wird anschließend zu einem weiteren Einflussfaktor innerhalb des Kompositionsprozesses.
Warum das für House wichtig ist
Das wurde besonders bei House und French House wichtig.
Frühere Generationen konnten musikalisch schlüssige Tracks erzeugen, aber die Ergebnisse fühlten sich eher nach Lounge oder allgemeiner elektronischer Musik an als nach Musik, die für die Tanzfläche gemacht ist.
Das neue System legt deutlich mehr Gewicht auf die Genre-Identität.
Die House-Harmonik bleibt in kompakteren, wiederkehrenden Phrasen. Die Kick wird als eines der zentralen Elemente des Genres behandelt. Claps und Snares verstärken den Backbeat. Offbeat-Hi-Hats und Percussion können sich an der aus den Referenzen gelernten Rhythmik orientieren. Die Bassbewegung wird stärker in Richtung eines klar erkennbaren Dance-Grooves gelenkt.
Auch das Arrangement spielt eine wichtige Rolle.
Ein Dance-Track braucht mehr als die richtigen Noten. Er braucht Bewegung: Intro, Aufbau, Hauptteile, Break und Wiedereinstieg.
Deshalb nutzt die neue Arrangement-Ebene den gelernten Energie-Fingerabdruck und bewahrt gleichzeitig eine klare, bewusst auf die Tanzfläche ausgerichtete Struktur.
6. ALSO... HAT DIE FLIEGE DEN SONG WIRKLICH GESCHRIEBEN?
Nein.
Im Computer versteckt sich kein winziger Fruchtfliegen-Mozart.
Das Fruchtfliegenhirn hört sich den Track nicht an und entscheidet, ob ihm der Refrain gefällt.
Es versteht House nicht.
Es versteht keine Akkorde.
Es versteht Musik überhaupt nicht.
Und genau das macht das Experiment interessant.
Das Connectom wird innerhalb eines viel größeren Systems als biologisches Rechensubstrat eingesetzt.
Die musikalischen Korpora liefern erlernte symbolische Zusammenhänge.
Die Referenztracks liefern genrespezifische statistische Fingerabdrücke.
Musikalische Regeln schränken die Möglichkeiten ein.
Das FlyWire-Netzwerk beeinflusst den Suchprozess.
Der Critic bewertet das Ergebnis.
Die Evolution bewahrt bessere Ideen und entwickelt sie weiter.
Der Song kommt also nicht einfach aus dem Fruchtfliegenhirn.
Er entsteht aus dem Zusammenspiel all dieser Komponenten.
Die Fliege weiß nicht, was Musik ist.
Sie muss es auch nicht wissen.
7. WAS ZEIGT DIESES EXPERIMENT TATSÄCHLICH?
Das Experiment zeigt nicht, dass Fruchtfliegen insgeheim Musiker sind.
Es zeigt etwas weitaus Interessanteres.
Ein biologisches neuronales Netzwerk kann digital rekonstruiert und in eine Rechenumgebung eingebettet werden, die völlig anders ist als die Umgebung, für die es sich ursprünglich entwickelt hat.
In diesem Fall ist diese Umgebung ein Musikgenerierungssystem.
Das eigentlich Interessante ist nicht, dass irgendeine einzelne Komponente allein Musik erzeugen kann.
Interessant ist, was passiert, wenn sie miteinander verbunden werden.
- FlyWire liefert die reale biologische Topologie und neuronale Dynamik.
- Musikalische Korpora liefern symbolisches musikalisches Wissen.
- Referenztracks liefern messbare Beispiele für genrespezifischen Klang und musikalisches Verhalten.
- Der Critic erzeugt den Selektionsdruck.
- Die Evolution durchsucht den riesigen Raum möglicher Kompositionen.
Keiner dieser Bausteine ist für sich genommen ein vollständiger Composer.
Zusammen können sie etwas hervorbringen, das keiner von ihnen allein erzeugen könnte.
8. ABER KLINGT ES WIRKLICH GUT?
Hier muss ich ehrlich sein.
Nicht jede Generierung ist gut.
Einige sind erstaunlich überzeugend.
Andere sind repetitiv, holprig oder treffen das Genre schlicht nicht.
Das ist zu erwarten. Das System durchsucht einen gewaltigen Raum musikalischer Möglichkeiten, und der Critic ist letztlich nur eine Annäherung an menschliches musikalisches Urteilsvermögen.
Das ist kein Suno.
Und auch kein professioneller Produzent.
Und es war nie das Ziel, so zu tun, als wäre es eines.
Das Ziel war, eine weitaus seltsamere Frage zu beantworten:
Kann die Verschaltung eines biologischen Gehirns Teil einer Maschine werden, die etwas erzeugt, für dessen Produktion sie sich evolutionär nie entwickelt hat?
Bis jetzt sieht es so aus, als wäre die Antwort: ja.
9. WIE WURDE DAS GEMACHT?
Bis hierhin zu kommen war wesentlich weniger glamourös, als die Idee hinter dem Projekt vielleicht vermuten lässt.
Die Entwicklung des Projekts dauerte eine ganze Woche und umfasste mehr als 7.000 Zeilen Python-Code.
Das System verbindet Bibliotheken und Werkzeuge für symbolische Musik, numerische Berechnungen, wissenschaftliche Datenverarbeitung, FlyWire-Konnektivität, Audioanalyse, persistentes Lernen, Genreanalyse, evolutionäre Suche, MIDI-Erzeugung und professionelles Audio-Rendering.
Der Composer speichert außerdem einen persistenten Lernzustand. Dadurch kann das System sein Wissen kontinuierlich erweitern, statt jedes Mal wieder bei null anzufangen.
Es brauchte Hunderte experimentelle Durchläufe, um herauszufinden, was funktioniert – und vielleicht noch wichtiger, was einfach schrecklich klingt.
Dieser letzte Punkt ist entscheidend.
Ein System zu bauen, das Noten erzeugen kann, ist einfach.
Ein System zu bauen, das etwas erzeugt, das man tatsächlich freiwillig hören möchte, ist deutlich schwieriger.
10. WAS KOMMT ALS NÄCHSTES?
Das aktuelle System ist noch immer ein Experiment.
Das biologische Netzwerk könnte größer oder stärker spezialisiert werden. Das musikalische Gedächtnis könnte erweitert werden. Die Repräsentation der Referenztracks könnte ausgefeilter werden. Und der Critic könnte weiterentwickelt werden, um besser zu erfassen, was eine Komposition nicht nur technisch schlüssig, sondern tatsächlich überzeugend macht.
Und dann gibt es noch eine viel größere Möglichkeit.
Musik könnte erst der Anfang sein.
Wenn sich eine biologische neuronale Architektur in ein kreatives System integrieren lässt – was könnte sie sonst noch leisten?
Bildgenerierung?
Sounddesign?
Spielverhalten?
Optimierung?
Etwas, worauf bisher noch niemand gekommen ist?
Normalerweise bauen wir künstliche Systeme, die sich von biologischen Gehirnen inspirieren lassen.
Dieses Experiment verfolgt einen anderen Ansatz.
Was wäre, wenn wir aufhören würden, biologische Intelligenz nur zu imitieren,
und stattdessen anfangen würden, die echte biologische Struktur als Rechenmaterial zu nutzen?
Fürs Erste hat die Fruchtfliege jedenfalls einen neuen Job.
Sie macht Musik.
Verwandte Fragen & Antworten
- • Was ist FlyWire und was ist ein Fruchtfliegen-Connectom?FlyWire ist ein Projekt, das die neuronale Verschaltung des Nervensystems der Fruchtfliege als digitales Connectom rekonstruiert – eine detaillierte Karte der Neuronen und ihrer synaptischen Verbindungen.
- • Wie groß ist das FlyWire-Connectom und wie viel davon verwendet FlyWire Composer?Das vollständige FlyWire-Connectom umfasst etwa 130.000–140.000 rekonstruierte Neuronen und mehr als 50 Millionen synaptische Verbindungen. FlyWire Composer verwendet derzeit ein Arbeits-Subnetz aus 8.192 Neuronen mit ihren realen synaptischen Verbindungen.
- • Wie wurde das Gehirn der Fruchtfliege als digitales Connectom rekonstruiert?Forschende haben Millionen ultradünner Elektronenmikroskopie-Aufnahmen des Nervensystems einer Fruchtfliege erstellt. Mithilfe von Computer Vision und Rekonstruktionsverfahren wurden anschließend die Neuronen und ihre Verbindungen nachverfolgt. So entstand ein dreidimensionales digitales Abbild der neuronalen Verschaltung.
- • Kann ein gescanntes Fruchtfliegenhirn in einem Computer denken oder fühlen?Nein. Ein Connectom ist eine digitale Darstellung der neuronalen Struktur, kein bewusstes Wesen. In FlyWire Composer wird das rekonstruierte Netzwerk als biologisches Rechensubstrat verwendet, dessen Aktivität Entscheidungen innerhalb eines größeren Softwaresystems beeinflusst.
- • Kann ein Fruchtfliegenhirn tatsächlich selbstständig Musik komponieren?Nein. Das Fruchtfliegenhirn versteht weder Musiktheorie noch Harmonik, Genres oder Ästhetik. Das digitalisierte FlyWire-Netzwerk aus 8.192 Neuronen dient als aktives biologisches Rechensubstrat innerhalb eines größeren Musikgenerierungssystems, das außerdem Musikkorpora, Genre-Referenzen, musikalische Regeln, den Critic und evolutionäre Suche nutzt.
- • Wie nutzt FlyWire Composer das Fruchtfliegen-Connectom zur Musikgenerierung?Die Aktivität des 8.192 Neuronen umfassenden FlyWire-Netzwerks beeinflusst musikalische Entscheidungen und den Suchprozess, darunter melodische und rhythmische Möglichkeiten. Die daraus entstehenden Kandidaten werden anschließend vom restlichen Kompositionssystem bewertet und weiterentwickelt.
- • Aus welchen musikalischen Datensätzen lernt FlyWire Composer?Der Composer verwendet MAESTRO v3.0.0 für Klavierperformances und symbolische musikalische Zusammenhänge wie Harmonik, Melodik, Timing und Voice Leading sowie Groove MIDI v1.0.0 für menschliche Schlagzeugperformances und ausdrucksstarkes rhythmisches Timing.
- • Wie lernt FlyWire Composer, wie ein Genre klingt?Der Composer kann Referenztracks analysieren, die in genrespezifischen Ordnern abgelegt sind, und daraus messbare Merkmale wie Rhythmik, Bassbewegung, harmonisches und melodisches Verhalten, Dichte, Arrangement, Phrasenstruktur und Energie ableiten. Diese Merkmale bilden eine kompakte statistische Repräsentation des jeweiligen Genres.
- • Wie beeinflussen Referenztracks die generierte Musik?Die aus den Referenztracks gewonnenen Merkmale können die tatsächliche Notenplatzierung, das rhythmische Verhalten, die Bassbewegung, das Arrangement, die Energie und weitere Kompositionsentscheidungen beeinflussen. Die Informationen aus den Referenztracks können dem FlyWire-Actor während der Generierung außerdem als zusätzlicher Kontext übergeben werden.
- • Verwendet FlyWire Composer Referenztracks als Trainingsdaten?Nein. Die Referenztracks werden nicht zum Training eines generativen Audiomodells verwendet. Stattdessen analysiert das System die Tracks und extrahiert statistische Merkmale, die das gewünschte Genre beschreiben. Diese Merkmale dienen anschließend als Orientierung für den Kompositionsprozess.
- • Wie bewertet der Critic die generierten Kompositionen?Der Critic bewertet musikalische Kandidaten anhand mehrerer Kriterien, darunter Harmonik, Melodik, Rhythmik, Phrasenstruktur, Form, Spannung, Innovation, Voice Leading, musikalische Passung und Genre-Identität.
- • Wie verbessert der evolutionäre Prozess die Musik?Der Composer erzeugt zahlreiche musikalische Kandidaten, bewertet sie mit dem Critic, wählt die stärkeren Kandidaten aus, mutiert oder rekombiniert sie und bewertet die neuen Versionen erneut. Dieser Prozess wiederholt sich über mehrere Generationen hinweg, um zunehmend passendere musikalische Strukturen zu finden.
- • Was ist der Unterschied zwischen neuronaler Sonifikation und FlyWire Composer?Bei der direkten neuronalen Sonifikation wird neuronale Aktivität unmittelbar in Klänge übersetzt, etwa in Klicks, Töne oder andere akustische Darstellungen neuronaler Signale. FlyWire Composer nutzt die Aktivität des Connectoms dagegen als Einfluss auf strukturierte musikalische Entscheidungen innerhalb eines größeren Systems, das bereits über ein musikalisches Vokabular, Genreinformationen, Regeln, Bewertung und evolutionäre Suche verfügt.
- • Erzeugt das FlyWire-Netzwerk die Musik von selbst?Nein. Die Musik entsteht aus dem Zusammenspiel mehrerer Komponenten: Das biologische FlyWire-Netzwerk beeinflusst den Suchprozess, Musikkorpora liefern symbolisches musikalisches Wissen, Referenztracks liefern genrespezifische statistische Merkmale, musikalische Regeln schränken die Möglichkeiten ein, der Critic bewertet die Kandidaten und die evolutionäre Suche wählt stärkere Ideen aus und entwickelt sie weiter.
- • Was unterscheidet FlyWire Composer von herkömmlichen KI-Musikgeneratoren?Statt sich hauptsächlich auf ein konventionelles neuronales Modell zur Musikgenerierung zu stützen, integriert FlyWire Composer ein rekonstruiertes biologisches neuronales Netzwerk als Rechensubstrat in ein evolutionäres System zur symbolischen Musikgenerierung. Das Ergebnis entsteht aus dem Zusammenspiel biologischer Netzwerkdynamik, erlernter musikalischer Zusammenhänge, Genre-Referenzen, Bewertung und evolutionärer Suche.