- 发布日期
Gemini Robotics ER 2 登场,支持连续视频理解与多机器人协作
- 作者

- 姓名
- 荷鲁斯快报
- 社交账号
谷歌DeepMind昨日发布Gemini Robotics ER 2模型,这是其面向机器人的最强具身推理模型。该模型可视为机器人的“高级大脑”,负责协调与人类交流、理解物理世界并规划多步骤任务,并向更低层级的视觉-语言-动作模型分派任务。相比前代ER 1.6,ER 2通过持续观看视频,机器人能够追踪自身运行进度,在出现问题时调整,并准确把握进入下一步的时机。模型还可原生调用谷歌搜索或开发者自定义函数。
在物理智能体方面,ER 2在机器人执行任务时可同步推理后续步骤,减少传统“停止—思考—再行动”带来的停顿。它接入Gemini Live API双向流式端点,适合对延迟敏感的机器人任务。在任务进度分类测试中,ER 2准确率达57.4%,帮助机器人在不重启工作流的情况下修正失败步骤。在关键时刻定位测试中,模型需要找出关键事件发生的精确视频帧,例如判断何时停止向杯中倒咖啡,ER 2准确率为91.3%,平均绝对时间误差0.96秒。
谷歌称,ER 2以更低计算成本达到接近更大模型类别的精度,执行速度为其4倍,并满足亚秒级延迟要求。该模型还支持多机器人协作,不同类型的机器人可借助共享语义理解沟通、交接任务,完成单台设备难以独立完成的复杂工作流。谷歌展示了Apptronik的Apollo 2与Franka的FR3 Duo协作案例。
Gemini Robotics ER 2现已通过Gemini API和Google AI Studio面向开发者公开提供,同时已在Gemini企业智能体平台中开启私密预览。谷歌还发布了模型配置和提示词示例代码。
阅读原文 →来源:ithome