Ein Gericht aus Neuronen hat möglicherweise gelernt, Pong zu spielen (falsch)

Vergrößern / Nervenzellen bilden in Kultur spontan die Strukturen aus, die für die Kommunikation untereinander notwendig sind. JUAN GAERTNER/Getty Images

Eine der aufregendsten Entwicklungen in der KI war die Entwicklung von Algorithmen, die die Regeln eines Systems selbst lernen können. Frühere Versionen von Dingen wie Spielalgorithmen mussten mit den Grundlagen eines Spiels ausgestattet werden, aber neuere Versionen brauchen das nicht: Sie brauchen nur ein System, das bestimmte Belohnungen wie eine Punktzahl verfolgt, und sie können bestimmen, welche Aktionen dies ohne maximieren eine formelle Beschreibung der Spielregeln benötigen.

Ein in der Zeitschrift Neuron veröffentlichter Artikel geht sogar noch weiter, indem er echte Neuronen verwendet, die in einer mit Elektroden gefüllten Box gezüchtet werden. Dies fügte eine zusätzliche Ebene der Komplikation hinzu, da es keine Möglichkeit gab, zu wissen, was die Neuronen tatsächlich als lohnend empfinden würden. Die Tatsache, dass das System funktioniert zu haben scheint, kann uns etwas darüber sagen, wie Neuronen ihre Reaktionen auf die Außenwelt selbst organisieren können.

Begrüßen Sie DishBrain

Die Forscher hinter dieser neuen Arbeit, die hauptsächlich in Melbourne, Australien, ansässig waren, nennen ihr System DishBrain. Und es basiert auf, ja, einer Schale mit einem Satz Elektroden auf dem Boden der Schale. Wenn Neuronen in der Schale gezüchtet werden, können diese Elektroden zwei Dinge tun: die Aktivität von Neuronen über ihnen erkennen oder diese Elektroden stimulieren. Elektroden sind im Verhältnis zur Größe von Neuronen groß, sodass das Erfassen und Stimulieren (was ähnlich wie das Lesen und Schreiben von Informationen angesehen werden kann) eine kleine Population von Neuronen umfasst und nicht nur eine.

Darüber hinaus handelt es sich um eine Standard-Kulturschale, d.h. es können eine Vielzahl von Zelltypen darin kultiviert werden. Für einige Kontrollexperimente verwendeten die Forscher Zellen, die nicht auf elektrische Signale reagieren. Für diese Experimente testeten die Forscher zwei Arten von Neuronen: einige wurden aus Mausembryos präpariert und andere wurden hergestellt, indem menschliche Stammzellen zur Bildung von Neuronen angeregt wurden. Wie in anderen Experimenten zu sehen war, bildeten die Neuronen in beiden Fällen spontan Verbindungen untereinander und schufen Netzwerke mit spontaner Aktivität.

Obwohl die Hardware völlig flexibel ist, konfigurierten die Forscher sie als Teil eines geschlossenen Systems mit einem Computercontroller. In dieser Konfiguration wurden die Elektroden in einigen Bereichen der Schüssel so definiert, dass sie Eingaben vom DishBrain erhalten; Sie werden gemeinsam als motorische Region bezeichnet, weil sie die Reaktion des Systems steuern.

Acht weitere Regionen wurden bestimmt, um Informationen in Form von Stimulation von den Elektroden zu erhalten, die ähnlich wie ein sensorischer Bereich des Gehirns wirken. Der Computer könnte diese Elektroden auch verwenden, um dem System Feedback zu geben, worauf wir weiter unten eingehen werden.

Zusammen bieten sie alles, was ein neuronales Netzwerk benötigt, um zu wissen, was in der Computerumgebung vor sich geht. Motorische Elektroden ermöglichen es Neuronen, das Verhalten der Umgebung zu modifizieren, und sensorische Neuronen erhalten sowohl Informationen über den Zustand der Umgebung als auch ein Signal darüber, ob ihre Aktionen erfolgreich waren. Das System ist generisch genug, dass alle Arten von Umgebungen im Rechenteil der Erfahrung eingerichtet werden können, so ziemlich alles, was einfache Eingaben die Umgebung verändern.

Die Forscher entschieden sich für Pong.

Pong trifft auf theoretische Neurowissenschaften

Pong ist in vielerlei Hinsicht eine gute Wahl. Die Umgebung umfasst nur wenige Variablen: die Position des Schlägers und die Position des Balls. Das Paddel kann sich nur in einer Linie bewegen, sodass der Antriebsteil der Dinge nur zwei Eingaben benötigt: nach oben oder unten. Und es gibt eine klare Belohnung dafür, es richtig zu machen: Sie vermeiden einen Endzustand, in dem der Ball an den Schlägern vorbeigeht und das Spiel stoppt. Dies ist eine großartige Einrichtung zum Testen eines einfachen neuronalen Netzwerks.

Aber hier gibt es ein bemerkenswertes Problem: Es gibt keinen Grund für Neuronen, einen Zustand, in dem der Ball noch im Spiel ist, als lohnend anzusehen. Es gibt also keine Möglichkeit für Menschen zu wissen, welche Art von Signal der Computer erzeugen sollte, um anzuzeigen, wann das neuronale Netzwerk erfolgreich war. Und ohne diese Art von Signal hat das neuronale Netzwerk keine Möglichkeit, etwas zu lernen.

Hier wandte sich das Forschungsteam ab...