Die Textkomprimierung wird mit LLMs seltsam effizient

Früher waren Arbeitsspeicher und Speicherplatz so kostbar und begrenzt, dass die Verwaltung nicht trivialer Textmengen ein ernstes Problem darstellte. Die Textkomprimierung war eine sehr praktische Anwendung der Rechenleistung.

Zum jetzigen Zeitpunkt mag dies ein gelöstes Problem sein, aber das bedeutet nicht, dass es keine neuen oder ungewöhnlichen Lösungen erfordert. [Fabrice Bellard] hat ts_zip veröffentlicht, das Extended Language Models (LLM) verwendet, um höhere Textkomprimierungsraten zu erreichen, als jedes andere Tool bieten kann.

LLMs sind die Technologie hinter KIs in natürlicher Sprache, und ihre Anwendung auf diese Weise scheint effektiv zu sein. Der Kompromiss? Im Gegensatz zu herkömmlichen Komprimierungstools ist der verlustfreie Dekomprimierungsteil bei LLM nicht unbedingt garantiert. Verlustbehaftete Komprimierungsmethoden sind tatsächlich sehr nützlich. Die JPEG-Komprimierung ist beispielsweise ein gutes Beispiel für die Entfernung von Daten, die für den Menschen nicht leicht wahrnehmbar sind, um eine kleinere Datei zu erstellen, wird aber im Allgemeinen nicht auf Text angewendet. Wenn Sie unbedingt eine verlustfreie Komprimierung benötigen, hat [Fabrice] die Lösung mit NNCP, einem verlustfreien Datenkompressor auf Basis eines neuronalen Netzwerks.

Klingen neuronale Netze und LLMs viel zu ernst und kompliziert für Ihre Anforderungen an die Textkomprimierung? Solange Ihnen ein geringfügiger, deutlich spürbarer Datenverlust nichts ausmacht, schauen Sie sich [Greg Kennedys] verlustbehaftete Textkomprimierung an, die einfach, brillant und amüsant einen Thesaurus anstelle eines ausgefallenen Algorithmus verwendet. Ja, es ersetzt lediglich längere Wörter durch kürzere Wörter. Es ist vielleicht nicht die beste Lösung für alle Anforderungen, aber zusammen mit der brillanten Arbeit von [Fabrice] sind wir zuversichtlich, dass für jeden, der Lust auf etwas Neues mit der Textkomprimierung hat, etwas dabei ist.

[Foto von Matthew Henry von Burst]