Stabiles Streaming und warum es wichtig ist

Vielleicht haben Sie noch nie von Stable Diffusion gehört. Zum Zeitpunkt des Schreibens dieses Artikels ist es weniger als ein paar Wochen alt. Vielleicht haben Sie davon und dem Trubel, der ihn umgibt, gehört. Es ist ein KI-Modell, das Bilder basierend auf Texteingabeaufforderungen oder Eingabebildern generieren kann. Warum ist es wichtig, wie verwenden Sie es und warum sollte es Sie interessieren?

In diesem Jahr haben wir mehrere Bilderzeugungs-KIs wie Dall-e 2, Imagen und sogar Craiyon gesehen. Nvidias AI Canvas ermöglicht es jemandem, ein Rohbild mit verschiedenen Farben zu erstellen, die verschiedene Elemente wie Berge oder Wasser darstellen. Die Leinwand kann daraus eine wunderschöne Landschaft machen. Was macht Stable Diffusion so besonders? Für den Anfang ist es Open Source unter der Creative ML OpenRAIL-M-Lizenz, die relativ freizügig ist. Darüber hinaus können Sie Stable Diffusion (SD) auf Ihrem Computer ausführen und nicht über die Cloud, auf die über eine Website oder API zugegriffen werden kann. Sie empfehlen eine GPU der NVIDIA 3xxx-Serie mit mindestens 6 GB RAM, um anständige Ergebnisse zu erzielen. Aber aufgrund seiner Open-Source-Natur ermöglichen Korrekturen und Optimierungen, dass es nur CPU-fähig, AMD-betrieben oder sogar Mac-kompatibel ist.

Dies berührt das Wichtigste über SD. Die Gemeinschaft und die Energie, die sie umgibt. Es gibt Dutzende von Repositories mit unterschiedlichen Funktionen, Web-UIs und Optimierungen. Menschen trainieren neue Modelle oder verfeinern Modelle, um unterschiedliche Inhaltsstile besser zu generieren. Es gibt Plugins für Photoshop und Krita. Andere Modelle werden in den Stream integriert, wie Bildskalierung oder Gesichtskorrektur. Die Geschwindigkeit, mit der dies geschehen ist, ist schwindelerregend. Im Moment ist es ein bisschen wie im Wilden Westen.

Wie benutzt man es?

Nachdem wir mit dem SD auf unserem Home-Desktop herumgespielt und mit einigen Repositories herumgespielt haben, können wir zuversichtlich sagen, dass das SD nicht so gut ist wie Dall-E 2, wenn es darum geht, abstrakte Konzepte zu generieren.

Boston Terrier mit Meerjungfrauenschwanz, auf dem Grund des Ozeans, dramatische, digitale Kunst. Bilder mit Unterstützung von Nir Barazida

Das macht es nicht weniger erstaunlich. Die erstaunlichsten Beispiele, die Sie online sehen, sind ausgewählt, aber die Tatsache, dass Sie Ihren Desktop mit einem Low-End-RTX 3060 starten und alle 13 Sekunden einen neuen Frame erstellen können, ist überwältigend. Gehen Sie für ein Glas Wasser weg und Sie haben ungefähr 15 Frames vor sich, wenn Sie zurückkehren. Viele davon sind korrekt und können wiederholt werden (dazu später mehr).

Wenn Sie damit spielen möchten, gehen Sie zu huggingface, dreamstudio.ai oder Google Collab und verwenden Sie deren Webinterface (alle derzeit kostenlos). Oder folgen Sie einer Anleitung und installieren Sie sie auf Ihrem Computer (jede Anleitung, die wir hier schreiben, wird innerhalb weniger Wochen schrecklich veraltet sein).

Die wahre Magie von...