← 返回全部情报
Google:Gemini 4 Argon 做机器人全栈——ERQA 87%,仿真自改进把成功率从 56% 提到 75% 的封面

·Blog·工程博客收录 2026-10-18

Google:Gemini 4 Argon 做机器人全栈——ERQA 87%,仿真自改进把成功率从 56% 提到 75%

Gemini 4 Argon机器人Real2SimMuJoCo自改进

一句话结论

Google 介绍 Gemini 4 Argon 作为通用物理推理模型覆盖机器人全栈:纯推理 ERQA 87%;可做 Spot 踩踏垃圾桶练习、零样本机械臂视觉坐标闭环、Omni 世界模型拼 Scrabble,以及 Real2Sim、事后标注与仿真/真机自改进,并在 AI Studio Ultra、API 的 gemini-4-argon 与 Antigravity 上可用。

打开原文 Google Developers Blog:Gemini 4 Argon for Robotics

背景与理念

作者把 Argon 写成在物理理解、代码生成与视觉语义推理上的台阶,用来打通机器人栈、加速通向物理 AGI。它在 Embodied Reasoning(ERQA)基准上用纯推理拿到 87%,超过文中对比的其他前沿模型。

同一模型被放到控制、Real2Sim、物理理解与研究/自改进四类代表性提示里展示,而不是只做一个端到端策略网络。

具体做法

控制

1. Spot 移动操作与 MuJoCo 练习。控制 Boston Dynamics Spot(12 自由度腿 + 6 自由度臂)学习踩脚踏垃圾桶丢弃汽水罐:先建带关节的 MuJoCo 数字孪生练习,再用双 agent(foot-verifier / hand-verifier)核对脚踏与手在桶内的三维对齐后松手。

2. 零样本机械臂。用视觉坐标 harness 与动作原语,经多轮把倒下的杯子扶正并塞入皱纸巾;腕部相机上有投影的 2 cm 世界坐标与夹爪闭合准星。

3. Omni 世界模型闭环。在 Gemini Omni 世界模型里把散落的 Scrabble 字母 G,R,A,N,O 排成 A-R-G-O-N,用带时间戳的动作提示迭代 33 步,而不是一次写死静态提示。

Real2Sim

4. 机器人视角 / 第一人称人视频 / 手绘草图进仿真。可从真机遥操作回放校准 MuJoCo 孪生并匹配指尖力;可从第一人称人视频把人手轨迹重定向到 76 自由度双臂人形(每手 22 自由度)并在 500 Hz 接触物理里验证;也可从纸笔草图生成 mujoco_warp 场景与全身投掷轨迹,验证 6/6 击倒目标箱。

物理理解

5. 事后标注、找异球与价值函数。对 ALOHA 2 折纸狐狸约 136 秒视频产出四层 JSON(总目标、6 个语义子任务、17 个接触级原子原语、质量重加权);搭建 12 球天平谜题并在 ≤3 次称量内用纯视觉闭环找出异球;在约 60 秒双臂分环片段上分解出 28 个正/中/负进度段。

自改进与研究

6. 仿真合成与真机迭代。从一张桌面 RGB 照片建孪生并合成 4500+ 域随机回合,把真机成功率从 56% 提到 75%、完成时间从 35 秒降到 24 秒;SO-101 视觉抓取放置经三轮自改进从 58.9 秒到 22.9 秒再到 17.4 秒;还可用单提示把论文复现成 MuJoCo WebAssembly 浏览器实验。

关键数据/例子

文中给出的量化点包括:ERQA 纯推理 87%;Omni Scrabble 示例 33 步;折纸标注 4 层(含 6 子任务、17 原子原语);异球 ≤3 次称量;价值函数 28 段;仿真 4500+ 回合对应成功率 56%→75%、时间 35s→24s;SO-101 三轮 58.9s→22.9s→17.4s。可用性写明:Google AI Studio 面向 Ultra 订阅;Gemini API 付费档用 gemini-4-argon;Antigravity 同样可选该模型做复杂规划与多 agent 编排。

创新点

第一,把同一前沿模型同时用于控制闭环、孪生构建、标注与自改进,而不是为每个环节换专用小模型。第二,用视觉坐标 harness、双验证 agent 与世界模型时间戳提示,把「看—想—动」写成可检查的多轮协议。第三,用仿真合成数据与真机自我诊断闭环,把成功率与耗时改进变成可复述的实验路径。

可否复用

  1. 先用公开基准(如 ERQA)与单一窄技能(抓放、脚踏)验证模型,再扩到全栈流程。
  2. 控制提示固定「观察一句 + 可执行原语/命令」格式,并在关键接触前加独立验证步骤。
  3. Real2Sim 同时卡住视觉对齐与接触力/力矩匹配,禁止事后改模型参数或外力作弊。
  4. 自改进时先在仿真或 dry-run 验证修复,再上真机;把失败日志与多相机录像当作下一轮提示的一等输入。

笔记会在输入时自动保存。