Meta enthüllt leise Llama 2 Long AI, das GPT-3.5 Turbo und Claude 2 bei bestimmten Aufgaben übertrifft

BusinessBeat gegenwärtig : KI entfesselte - A exklusiv Exekutive Ereignis Für Geschäft Daten Führer. Netzwerk Und lernen mit Industrie Gleichaltrige. Lernen Mehr

Meta Plattformen betrachten deaktiviert A Band von neu KI Merkmale Für Es ist verbraucherorientiert Dienstleistungen Facebook, Instagram Und WhatsApp hat Es ist jährlich Meta Verbinden Konferenz In Menlo Park, Kalifornien, Das Woche.

Aber DER der Größte Nachricht Seit Marke Zuckerbergs Geschäft dürfen haben Tatsächlich kommen In DER bilden von A Computer Wissenschaft Papier veröffentlicht ohne Fanfare von Meta Forscher An DER offen zugreifen Und Nicht-Paar überarbeitet Webseite arXiv.org.

DER Papier gegenwärtig Lama 2 Lang, A neu KI Modell Base An Das Meta offen Quelle Lama 2 freigegeben In DER Sommer, Aber Das hat gelitten „kontinuierlich vor dem Training Seit Lama 2 mit länger Ausbildung Sequenzen Und An A Datenbank Oder lang Texte Sind überabgetastet", entsprechend hat DER Forscher-Autoren von DER Papier.

Als A Ergebnis von Das, Das Meta neu verlängern KI Modell übertrifft ein paar von DER führend Wettbewerb In Generator Antworten hat lang (Oberer, höher Charakter zählen) Benutzer Anweisungen, einschließlich OpenAI GPT-3.5 Turbo mit 16.000 Zeichen Kontext Fenster, als GUT als Claude 2 mit Es ist 100.000 Zeichen Kontext Fenster.

KI Entfesselt

A exklusiv nur geladene Gäste Abend von Wissen Und Vernetzung, entworfen Für Senior Geschäft Führungskräfte Überwachung Daten Batterie Und Strategien.

Meta Forscher nahm DER Original Lama 2 verfügbar In Es ist anders Ausbildung Einstellung Größen — DER Werte von Daten Und Information DER Algorithmus dürfen ändern An Es ist eigen als Er lernen, welche In DER Fall von Lama 2 kommen In 7 Milliarde, 13 Milliarde, 34 Milliarde, Und 70 Milliarde Varianten — Und inbegriffen mehr länger Text Daten Quellen Das DER Original Lama 2 Ausbildung Datenbank. Ein anderer 400 Milliarde Wertmarken, hat Sei richtig.

ALSO, DER Forscher bewachen DER Original Lama 2 die Architektur DER sogar, Und nur Tun A "notwendig Änderung hat DER positionell Codierung Das Ost entscheidend Für DER Modell hat teilnehmen Länger. »

Das Änderung War hat DER Rotary Positionsbezogen Integration (Seil) Codierung, A Methode von Programmierung DER Transformator Modell zugrundeliegend LLM solch als Lama 2 (Und Lama 2 Lang), welche grundsätzlich Pläne ihre Zeichen Integrationen (DER Zahlen gebraucht hat vertreten Wörter, Vorstellungen, Und Ideen) An A 3D Diagramm Das betrachten ihre Positionen relativ hat andere Token, sogar Wann gedreht. Das erlauben A Modell hat produzieren genau Und nützlich die Antworten, mit weniger Information (Und Daher, weniger Rechnen Lagerung genommen hoch) Das andere Ansätze.

DER Meta Forscher "nimmt ab DER Drehung Ecke" von Es ist Seil Codierung Seit Lama 2 hat Lama 2 Lang, welche aktiviert ihnen hat sicherstellen mehr "weit Token“, diese Ereignis mehr selten Oder mit weniger andere Beziehungen hat andere Stücke von Information, war stets inbegriffen In DER Modelle Bewusstsein Basis.

Benutzen Verstärkung Lernen Seit menschlich zurück (RLHF), A gemeinsam KI Modell Ausbildung Methode Oder KI Ost belohnen Für richtig Antworten mit menschlich Überwachung hat überprüfen Er, Und Synthetik Daten generiert von Lama 2 Katze sich selbst, DER Forscher war fähig hat verbessern Es ist Leistung In gemeinsam LLM Aufgaben einschließlich Codierung, Mathematik, Sprache Verständnis, gemeinsam ...