他们将 GPT-4 插入 Minecraft 并发现了 AI 的新潜力

展开 微软

ChatGPT 背后的技术有潜力做的不仅仅是谈话。芯片制造商 Nvidia 的人工智能研究员 Linxi “Jim” Fan 与同事一起寻找一种方法来定义强大的 GPT-4 语言模型——ChatGPT 和越来越多的其他应用程序和服务背后的“大脑”——内部松动Minecraft 批量视频游戏。

Nvidia 团队（包括公司机器学习总监和加州理工学院教授 Anima Anandkumar）创建了一个名为 Voyager 的 Minecraft 机器人，它使用 GPT-4 解决游戏中的问题。语言模型生成帮助代理探索游戏的目标和随着时间的推移提高机器人游戏技能的代码。

Voyager 不像人一样玩游戏，而是可以通过 API 直接读取游戏状态。例如，他可以在他的库存和附近的河流中看到一根钓鱼竿，并使用 GPT-4 来建议钓鱼以获得经验的目标。然后它将使用该目标让 GPT-4 生成角色到达目标所需的代码。

该项目的最新部分是 GPT-4 生成的代码，用于向 Voyager 添加行为。如果最初建议的代码不能完美运行，Voyager 将尝试使用错误消息、游戏内评论和 GPT-4 生成代码的描述来完善它。

随着时间的推移，Voyager 构建了一个代码库，以学习如何创建越来越复杂的事物并探索更多游戏。研究人员创建的图表显示了它与其他 Minecraft 相比的能力 代理商。 Voyager 获得的物品数量是其他人工智能代理的三倍多，探索的距离是其他人工智能代理的两倍多，构建工具的速度是其他人工智能代理的 15 倍。 Fan 表示，未来可以通过增加一种方式让系统整合游戏中的视觉信息来改进这种方法。

虽然像 ChatGPT 这样的聊天机器人以其口才和明显的知识让世界惊叹，但 Voyager 展示了语言模型在计算机上执行有用操作的巨大潜力，尽管它们经常编造内容。以这种方式使用语言模型或许可以使许多日常办公任务自动化，这可能是技术最重要的经济影响之一。

Voyager 与 GPT-4 一起使用以弄清楚如何在 Minecraft 中做事的过程可以适用于软件向导，该向导弄清楚如何通过操作系统自动执行任务个人电脑或手机。创建 ChatGPT 的初创公司 OpenAI 已向机器人添加“插件”，使其能够与杂货配送应用程序 Instacart 等在线服务进行交互。拥有 Minecraft 的 Microsoft 也在训练 AI 程序来玩它，该公司最近发布了 Windows 11 Copilot，这是一种操作系统功能，将使用机器学习和 API 来自动执行某些任务。尝试使用...可能是个好主意