Stability AI stellt neue FreeWilly-Sprachmodelle vor, die mit minimalen, hochsynthetischen Daten trainiert werden
Greifen Sie auf unsere On-Demand-Bibliothek zu, um VB Transform 2023-Sitzungen anzusehen. Melden Sie sich hier an
Es gibt ein neues großes Sprachmodell (LLM) in der Stadt – tatsächlich zwei davon – und 90er-Jahre-Kinder werden ihre Namen sofort erkennen: FreeWilly1 und FreeWilly2.
Die beiden neuen LLMs wurden am Freitag von Stability AI vorgestellt, dem Unternehmen hinter der bildgenerierenden AI Stable Diffusion, das vom ehemaligen britischen Hedgefonds Emad Mostaque gegründet wurde, dem vorgeworfen wurde, seinen Lebenslauf übertrieben zu haben. Sie basieren beide auf Versionen der Open-Source-Modelle LLaMA und LLaMA 2 von Meta, werden jedoch auf einem völlig neuen und kleineren Datensatz trainiert, der synthetische Daten enthält.
Beide Modelle zeichnen sich durch komplexes Denken, sprachliche Feinheiten und die Beantwortung komplexer Fragen im Zusammenhang mit Spezialgebieten wie Recht und Mathematik aus.
Stability-Tochtergesellschaft CarperAI hat die FreeWillys unter einer „nichtkommerziellen Lizenz“ veröffentlicht, was bedeutet, dass sie nicht für Profit-/Unternehmens-/kommerzielle Zwecke verwendet werden dürfen, sondern stattdessen die Forschung vorantreiben und Open Access in der KI-Community fördern sollen.
FallVB Transform 2023 auf Anfrage
Haben Sie eine Sitzung von VB Transform 2023 verpasst? Melden Sie sich an, um auf die On-Demand-Bibliothek aller unserer vorgestellten Sitzungen zuzugreifen.
Jetzt registrieren Kleinere, umweltfreundlichere WaleDie Modellnamen sind eine Anspielung auf die von Microsoft-Forschern entwickelte KI-Trainingsmethodik „Orca“, die es „kleineren“ Modellen (die weniger Daten ausgesetzt sind) ermöglicht, die Leistung großer grundlegender Modelle zu erreichen, die größeren Datensätzen ausgesetzt sind. (Keine Anspielung auf Orcas, die von IRL-Booten aus versinken.)
Konkret wurden FreeWilly1 und FreeWilly2 mit 600.000 Datenpunkten (nur 10 % der Größe des ursprünglichen Orca-Datensatzes) unter Verwendung von Anweisungen aus vier von Enrico Shippole erstellten Datensätzen trainiert, was bedeutet, dass sie viel kostengünstiger und viel umweltfreundlicher waren (weniger Strom verbrauchen und einen geringeren CO2-Fußabdruck haben) als das ursprüngliche Orca-Modell und die meisten großen LLMs. Die Modelle haben durchweg eine hervorragende Leistung erbracht, die mit ChatGPT vergleichbar und in einigen Fällen sogar besser als GPT-3.5 ist.
Das Training mit synthetischen Daten ist vielversprechend
Greifen Sie auf unsere On-Demand-Bibliothek zu, um VB Transform 2023-Sitzungen anzusehen. Melden Sie sich hier an
Es gibt ein neues großes Sprachmodell (LLM) in der Stadt – tatsächlich zwei davon – und 90er-Jahre-Kinder werden ihre Namen sofort erkennen: FreeWilly1 und FreeWilly2.
Die beiden neuen LLMs wurden am Freitag von Stability AI vorgestellt, dem Unternehmen hinter der bildgenerierenden AI Stable Diffusion, das vom ehemaligen britischen Hedgefonds Emad Mostaque gegründet wurde, dem vorgeworfen wurde, seinen Lebenslauf übertrieben zu haben. Sie basieren beide auf Versionen der Open-Source-Modelle LLaMA und LLaMA 2 von Meta, werden jedoch auf einem völlig neuen und kleineren Datensatz trainiert, der synthetische Daten enthält.
Beide Modelle zeichnen sich durch komplexes Denken, sprachliche Feinheiten und die Beantwortung komplexer Fragen im Zusammenhang mit Spezialgebieten wie Recht und Mathematik aus.
Stability-Tochtergesellschaft CarperAI hat die FreeWillys unter einer „nichtkommerziellen Lizenz“ veröffentlicht, was bedeutet, dass sie nicht für Profit-/Unternehmens-/kommerzielle Zwecke verwendet werden dürfen, sondern stattdessen die Forschung vorantreiben und Open Access in der KI-Community fördern sollen.
FallVB Transform 2023 auf Anfrage
Haben Sie eine Sitzung von VB Transform 2023 verpasst? Melden Sie sich an, um auf die On-Demand-Bibliothek aller unserer vorgestellten Sitzungen zuzugreifen.
Jetzt registrieren Kleinere, umweltfreundlichere WaleDie Modellnamen sind eine Anspielung auf die von Microsoft-Forschern entwickelte KI-Trainingsmethodik „Orca“, die es „kleineren“ Modellen (die weniger Daten ausgesetzt sind) ermöglicht, die Leistung großer grundlegender Modelle zu erreichen, die größeren Datensätzen ausgesetzt sind. (Keine Anspielung auf Orcas, die von IRL-Booten aus versinken.)
Konkret wurden FreeWilly1 und FreeWilly2 mit 600.000 Datenpunkten (nur 10 % der Größe des ursprünglichen Orca-Datensatzes) unter Verwendung von Anweisungen aus vier von Enrico Shippole erstellten Datensätzen trainiert, was bedeutet, dass sie viel kostengünstiger und viel umweltfreundlicher waren (weniger Strom verbrauchen und einen geringeren CO2-Fußabdruck haben) als das ursprüngliche Orca-Modell und die meisten großen LLMs. Die Modelle haben durchweg eine hervorragende Leistung erbracht, die mit ChatGPT vergleichbar und in einigen Fällen sogar besser als GPT-3.5 ist.
Das Training mit synthetischen Daten ist vielversprechendWhat's Your Reaction?
