ChatGPT für Robotik

Wir haben die Fähigkeiten von ChatGPT auf die Robotik erweitert und mehrere Plattformen wie Roboterarme, Drohnen und Heimassistenten auf intuitive Weise mit Sprache gesteuert.

p>

Papier

Video

PromptCraft codieren

Wolltest du schon immer einem Roboter mit deinen eigenen Worten sagen, was er tun soll, so wie du es einem Menschen tun würdest? Wäre es nicht erstaunlich, einfach zu Ihrem Home Assistant-Roboter zu sagen: „Bitte wärmen Sie mein Mittagessen auf“, und er findet die Mikrowelle von selbst? Obwohl Sprache für uns die intuitivste Art ist, unsere Absichten auszudrücken, verlassen wir uns immer noch stark auf handgeschriebenen Code, um Roboter zu steuern. Unser Team hat untersucht, wie wir diese Realität ändern und natürliche Mensch-Roboter-Interaktionen mit dem neuen KI-Sprachmodell von OpenAI, ChatGPT, ermöglichen können.

ChatGPT ist ein Sprachmodell, das auf einem riesigen Korpus textueller und menschlicher Interaktionen trainiert wurde, wodurch konsistente und grammatikalisch korrekte Antworten auf eine Vielzahl von Eingabeaufforderungen und Fragen generiert werden können. Unser Ziel mit dieser Forschung ist es zu sehen, ob ChatGPT über Text und Argumente hinaus über die physische Welt denken kann, um bei Roboteraufgaben zu helfen. Wir möchten Menschen helfen, einfacher mit Robotern zu interagieren, ohne komplexe Programmiersprachen oder Details über Robotersysteme lernen zu müssen. Die größte Herausforderung besteht hier darin, ChatGPT beizubringen, wie Probleme unter Berücksichtigung der Gesetze der Physik, des Kontexts der Betriebsumgebung und wie die physischen Aktionen des Roboters den Zustand der Welt verändern können, gelöst werden.

Es stellt sich heraus, dass ChatGPT viele Dinge selbst erledigen kann, aber es braucht noch etwas Hilfe. Unser technisches Papier beschreibt eine Reihe von Designprinzipien, die verwendet werden können, um Sprachmodelle zur Lösung von Roboteraufgaben zu führen. Dazu gehören unter anderem spezielle Eingabeaufforderungsstrukturen, High-Level-APIs und menschliches Feedback per Text. Wir glauben, dass unsere Arbeit nur der Anfang einer Veränderung in der Art und Weise ist, wie wir Robotersysteme entwickeln, und wir hoffen, andere Forscher dazu inspirieren zu können, in dieses spannende Feld einzusteigen. Lesen Sie weiter für weitere technische Details über unsere Methoden und Ideen.

Die heutigen Roboter-Pipelines beginnen mit einem Ingenieur oder technischen Benutzer, der Aufgabenanforderungen in Code für das System übersetzt. Der Ingenieur ist auf dem Laufenden, was bedeutet, dass er neuen Code und neue Spezifikationen schreiben muss, um das Verhalten des Roboters zu korrigieren. Insgesamt ist dieser Prozess langsam (der Benutzer muss Low-Level-Code schreiben), teuer (erfordert hochqualifizierte Benutzer mit fundierten Kenntnissen der Robotik) und ineffizient (erfordert mehrere Interaktionen, damit alles ordnungsgemäß funktioniert).

ChatGPT erschließt ein neues Roboterparadigma und ermöglicht eine (potenziell t nicht technisch...