Die Zukunft der KI ist verteilt … was das bedeutet

Wir freuen uns, Transform 2022 persönlich am 19. Juli und virtuell vom 20. bis 28. Juli zu präsentieren. Schließen Sie sich führenden KI- und Datenexperten an, um eingehende Diskussionen und spannende Networking-Möglichkeiten zu erhalten. Melden Sie sich noch heute an!

Künstliche Intelligenz (KI) und maschinelles Lernen (ML) revolutionieren jede Branche. Ihre Auswirkungen und Integrationen werden nur zunehmen.

Und letztendlich liegt die Zukunft der KI im verteilten Rechnen, sagte Ion Stoica, Mitbegründer, Vorstandsvorsitzender und Präsident von Anyscale, dem Publikum diese Woche auf der Transform 2022-Konferenz von VenureBeat.

Distributed Computing ermöglicht es, Komponenten von Softwaresystemen von mehreren Computern gemeinsam zu nutzen und als ein einziges System zu betreiben, wodurch Effizienz und Leistung verbessert werden.

Aber während verteiltes Rechnen notwendig ist, ist das Schreiben verteilter Anwendungen schwierig, "es ist sogar noch schwieriger als zuvor", sagte Stoica.

Transformation 2022

Nehmen Sie am 19. Juli und virtuell vom 20. bis 28. Juli an der führenden Veranstaltung für angewandte KI für Entscheidungsträger in Unternehmen und Technologie teil.

Insbesondere das verteilte Rechnen im Zusammenhang mit KI und ML stellt viele Herausforderungen dar: Verteilte Systeme unterscheiden sich stark in ihrer Implementierungsschwierigkeit, und Ingenieure müssen alle Aspekte des Netzwerkausfalls und des Geräts sowie verschiedene Permutationen von Fehlern und Fehlern testen . .

Dies hat Unternehmen wie Anyscale, das Entwicklern eine Reihe von Tools zum Erstellen, Bereitstellen und Verwalten verteilter Anwendungen bietet, Möglichkeiten eröffnet.

Das Unternehmen wurde von den Entwicklern von Ray gegründet, dem verteilten Open-Source-KI-Framework, das die Skalierung von KI-Workloads in die Cloud vereinfacht. Ray ermöglicht es Benutzern, sequenziell ausgeführten Python-Code mit minimalen Codeänderungen in eine verteilte Anwendung umzuwandeln.

Die Option von Anyscale ist serverlos, Cloud-agnostisch und unterstützt sowohl zustandslose als auch zustandsbehaftete Berechnungen. Das Tool abstrahiert Server und Cluster und bietet eine automatische Skalierung.

Wie Stoica feststellte, wächst der Rechenbedarf zum Trainieren hochmoderner Modelle laut dem Datensatz weiterhin um Größenordnungen. Zum Beispiel hat das Pathways Language Model (PaLM) von Google – ein einzelnes Modell, das mit großer Effizienz über Domänen und Aufgaben verallgemeinert – 530 Milliarden Parameter. Und einige der größten Träger haben über 1 Billion Parameter.

Zwischen den Anforderungen von ML-Anwendungen und den Fähigkeiten eines einzelnen Prozessors oder Servers klafft eine riesige Lücke. In ähnlicher Weise wies Stoica darauf hin, dass bei der Entwicklung und Veröffentlichung von Apache Spark im Jahr 2014 alle Maschinen als homogen angesehen wurden. Aber diese Annahme kann nicht mehr gemacht werden, da die heutige Landschaft viele verschiedene Hardwarebeschleuniger umfasst.

"Es gibt keine andere Möglichkeit, diese Workloads ohne eine Distribution zu unterstützen, so einfach ist das", sagte Stoica.

Das Erstellen einer ML-Anwendung umfasst mehrere Schritte, z. B. Etikettierung, datenspezifisches Training, Tuning, Verstärkungstraining. "Jeder dieser Schritte...