Microsoft-Forscher verwenden ChatGPT, um Roboter und Drohnen zu steuern

ChatGPT von OpenAI kann nicht nur kohärente Textantworten auf natürlich formulierte Anfragen erstellen, sondern auch eine Rolle bei der Interaktion zwischen Mensch und Roboter spielen und Sensorrückmeldungen nutzen, um Code für Roboteraktionen zu schreiben.

Microsoft führte kürzlich Forschungen durch, um "zu sehen, ob ChatGPT über Text hinaus denken und über die physische Welt nachdenken kann, um bei Roboteraufgaben zu helfen". Ziel war es zu testen, ob Menschen ChatGPT verwenden können, um Roboter ohne Erlernen von Programmiersprachen oder Verständnis von Robotersystemen zu instruieren.

In der Tiefe: Diese Experten rennen, um künstliche Intelligenz vor Hackern zu schützen. Die Zeit läuft ab.

"Die Schlüsselherausforderung hierbei ist es, ChatGPT beizubringen, wie man Probleme unter Berücksichtigung der Gesetze der Physik, des Kontexts der Betriebsumgebung und wie die physischen Aktionen des Roboters den Zustand der Welt verändern können, löst", bemerkt ein Team von Microsoft Autonomous Systems and Robotics Research in einem Blogbeitrag.

Die Forscher von Microsoft haben die Fähigkeit von ChatGPT untersucht, Code zu generieren, hauptsächlich in Python, für Robotik-Szenarien wie Zero-Shot-Planung und Code-Generierung, nachdem ChatGPT Zugang zu Objekterkennungs- und Objektabstandsdaten über Anwendungsschnittstellen erhalten hatte.

ChatGPT kann Code produzieren, weil es auf großen Mengen an Code und geschriebenem Text trainiert wurde. Das System hat sich als fähig erwiesen, Codierungsprobleme zu lösen und Programme zu debuggen, mit der zusätzlichen einzigartigen Fähigkeit, auf Dialoge zu reagieren und Klarstellungen zu suchen. Es gibt auch Codex, das auf GPT-3 von OpenAI basiert und GitHub Copilot unterstützt, einen Paarprogrammierungsdienst, der Entwicklern das automatische Vervollständigen von Code in mehreren Sprachen ermöglicht.

Außerdem: Was ist ChatGPT? Hier ist alles, was Sie wissen müssen.

Mit diesen Dialog- und Klarstellungsfähigkeiten im Hinterkopf hat Microsoft ChatGPT auf seine Fähigkeit getestet, als sprachbasierte Schnittstelle zwischen einem nicht-technischen Benutzer und einer Drohne zu dienen. Wie die Forscher in einem Papier feststellen, während GPT-3, LaMDA und Codex vielversprechende Ergebnisse in Robotik-Planungs- und Code-Generierungsaufgaben zeigten, ist ChatGPT speziell "ein potenziell vielseitigeres Werkzeug für den Robotikbereich, da es die Stärken von natürlicher Sprache und Code-Generierungsmodellen sowie die Flexibilität des Dialogs vereint."

Die Forscher bemerken in ihrem Blogbeitrag: "ChatGPT stellte Klarstellungsfragen, wenn die Anweisungen des Benutzers mehrdeutig waren, und schrieb komplexe Code-Strukturen für die Drohne, wie zum Beispiel ein Zick-Zack-Muster zur visuellen Überprüfung von Regalen."

Microsoft hat ChatGPT getestet, um einen Roboterarm zu verwenden, der Blöcke bewegt und das Microsoft-Logo bildet. Die Forscher stellten ChatGPT auch die Aufgabe, einen Algorithmus für eine Drohne zu schreiben, um einen Punkt zu erreichen, ohne gegen Hindernisse zu stoßen. Sie haben auch getestet, ob ChatGPT basierend auf Sensorfeedback in Echtzeit entscheiden kann, wohin ein Roboter gehen soll.

Forscher von Google Research und der zum Alphabet-Konzern gehörenden Everyday Robots haben ebenfalls an ähnlichen Herausforderungen der Robotik gearbeitet, indem sie große Sprachmodelle namens PaLM, oder Pathways Language Model, verwendet haben, mit denen ein Roboter offene Anfragen verarbeiten und vernünftig antworten konnte.