Wie analoge KI-Hardware eines Tages Kosten und CO2-Emissionen senken könnte

Sie konnten nicht an der Transform 2022 teilnehmen? Sehen Sie sich jetzt alle Summit-Sessions in unserer On-Demand-Bibliothek an! Schau mal hier.

Könnte analoge statt digitale Hardware mit künstlicher Intelligenz (KI) eine schnelle Verarbeitung mit geringem Stromverbrauch nutzen, um die wachsenden Kosten und den CO2-Fußabdruck des maschinellen Lernens zu bewältigen?

Forscher sagen ja: Logan Wright und Tatsuhiro Onodera, Forscher bei NTT Research und der Cornell University, stellen sich eine Zukunft vor, in der maschinelles Lernen (ML) mit neuartiger physikalischer Hardware durchgeführt wird, beispielsweise auf der Grundlage von Photonik oder Nanomechanik. Diese unkonventionellen Geräte könnten sowohl in Edge- als auch in Serverumgebungen eingesetzt werden.

Deep Neural Networks, die im Mittelpunkt der aktuellen KI-Bemühungen stehen, sind auf die intensive Nutzung digitaler Prozessoren wie GPUs angewiesen. Aber seit Jahren gibt es Bedenken hinsichtlich der monetären und ökologischen Kosten des maschinellen Lernens, was die Skalierbarkeit von Deep-Learning-Modellen zunehmend einschränkt.

Eine Studie der University of Massachusetts, Amherst, aus dem Jahr 2019 führte beispielsweise eine Lebenszyklusanalyse für das Training mehrerer großer gängiger KI-Modelle durch. Er fand heraus, dass der Prozess mehr als 626.000 Pfund Kohlendioxidäquivalent ausstoßen kann, fast das Fünffache der Lebenszeitemissionen eines durchschnittlichen amerikanischen Autos, einschließlich der Herstellung des Autos selbst.

Während einer Sitzung mit NTT Research auf dem Executive Summit von VentureBeat Transform am 19. Juli sagte CEO Kazu Gomi, dass maschinelles Lernen sich nicht auf digitale Schaltkreise verlassen muss, sondern stattdessen auf einem physischen neuronalen Netzwerk laufen könnte. Es ist eine Art künstliches neuronales Netzwerk, in dem physische analoge Hardware verwendet wird, um Neuronen zu emulieren, im Gegensatz zu Softwareansätzen.

"Einer der offensichtlichen Vorteile der Verwendung analoger statt digitaler Systeme ist der Stromverbrauch der KI", sagte er. „Das Energieproblem ist real, also stellt sich die Frage, welche neuen Möglichkeiten es gibt, maschinelles Lernen schneller und energieeffizienter zu machen?“

Seit den Anfängen der KI haben die Menschen nicht versucht, darüber nachzudenken, wie man digitale Computer herstellt, wies Wright darauf hin.

"Sie versuchten darüber nachzudenken, wie wir das Gehirn nachahmen könnten, das natürlich nicht digital ist", erklärte er. „Was ich im Sinn habe, ist ein analoges System, und es ist tatsächlich viel effizienter bei der Durchführung der Art von Berechnungen, die in tiefen neuronalen Netzwerken stattfinden, als die heutigen digitalen Logikschaltungen.“

Das Gehirn ist ein Beispiel für analoge Hardware zur Durchführung von KI, aber andere umfassen Systeme, die Optik verwenden.

"Mein Lieblingsbeispiel sind Wellen, weil viele Dinge wie Optiken auf Wellen basieren", sagte er. „In einer Badewanne könnte man zum Beispiel das Problem formulieren, eine Reihe von Zahlen zu verschlüsseln. An der Vorderseite der Wanne können Sie eine Welle aufstellen und die Höhe der Welle ergibt diesen Vektor X. Sie lassen das System eine Weile sich entwickeln und die Welle breitet sich bis zum anderen Ende der Wanne aus. Nach einer Weile können Sie dann die Höhe davon messen, und das gibt Ihnen eine andere Reihe von Zahlen.

Im Grunde kann die Natur selbst Berechnungen durchführen. "Und Sie müssen es an nichts anschließen", sagte er.

Industrieforscher verwenden eine Vielzahl von Ansätzen, um analoge Hardware zu entwickeln. IBM Research hat beispielsweise in analoge Elektronik investiert, insbesondere in Memristor-Technologie, um maschinelle Lernberechnungen durchzuführen.

"Es ist ziemlich vielversprechend", sagte Onodera. „Diese Memristor-Schaltkreise haben die Eigenschaft, dass Informationen natürlich von der Natur berechnet werden, wenn Elektronen durch den Schaltkreis ‚fließen‘, wodurch sie möglicherweise einen viel geringeren Stromverbrauch haben als digitale Elektronik.“

NTT Research konzentriert sich jedoch auf einen allgemeineren Rahmen, der nicht auf die Memristor-Technologie beschränkt ist. „Unsere Arbeit zielt auch darauf ab, andere physikalische...