Mind2Act World 诊断基准评测机器人操作中的具身认知、物理动作与组合能力
Mind2Act World 通过 Mind、Act 和 Mind2Act 三类视角,分别诊断机器人操作中的认知推理、物理执行及两者基于环境反馈的闭环组合。基准包含来自五个现实应用领域的 30 项模拟操作任务,覆盖三种难度和 Clean、Random 两种场景,共 180 种配置。
Mind2Act World 通过 Mind、Act 和 Mind2Act 三类视角,分别诊断机器人操作中的认知推理、物理执行及两者基于环境反馈的闭环组合。基准包含来自五个现实应用领域的 30 项模拟操作任务,覆盖三种难度和 Clean、Random 两种场景,共 180 种配置。
HubEgo-100K 现已在 Hugging Face 开源,包含来自 100,000+ 名不同 Hub 贡献者的 100,000 小时技能任务第一视角数据。该数据集可免费用于研究和商业用途,原文称其为 Hugging Face 上最多样化的第一视角数据集。
ScaleVLA 将 552B DeepSeek-V4.1-Flash 骨干连接到可训练的动作 DiT,并在统一训练设置下比较 2B 至 552B 的 VLM。
ForceHarness 让仅能通过 API 访问的冻结多模态模型无需示范或微调,便可借助自调节的力原语与物理翻译层使用力反馈控制机器人。研究同时构建了包含 7 项任务和隐藏物理变量的 MuJoCo 基准 HiddenPhys;在无腕部力传感器的真实机械臂上,该方法将 GPT-6 Astra 的零样本成功率从 3.3% 提高到 90.0%。
论文提出 Ropedia Xperience 2,包含 1,589 个米尺度 3D 扫描,以及涵盖 74 项任务的 4,230 段第一视角录制,总时长 131 hours。
Duo v1 提出 Reciprocal World Model(RWM),持续感知实时音频、视频和文本,并与用户进行全双工实时交互。模型通过自回归交互推理、统一时间线上的 Intent 与 Realization 同步,以及双重 rollout 蒸馏来减少分布偏移。除对话外,用户还可分享真实物体、调整虚拟场景、引导助手或进行视听游戏,无需鼠标或键盘控制。
BirdDreams提出一种自回归驾驶世界模型,联合生成视角视频与示意性鸟瞰视图(BEV)视频,将场景布局纳入未来预测并支持自车轨迹控制。该模型仅需单张相机图像、无需 HD map 或 vehicle-state 输入,在 PhysicalAI-AV 和 nuScenes 上比既有模型更准确跟随输入自车轨迹;人工评测显示,其生成的周围车辆行为也比仅使用视角视频的基线更真实。
千问提出 Qwen-Drive-1.0,以 Qwen3.5-4B 为基座,在不改动预训练 VLM 架构的前提下统一 3D 感知、驾驶视觉问答与运动规划。模型增加 BEV 感知头和基于流匹配的规划专家,Qwen-Drive-1.0-SFT 在 LingoQA、Ego3D RMSE 和 WaymoQA All 上分别为 77.80、7.78 和 74.47。