METR 大幅更新 AI 时间跨度图,模型在判断型任务上落后于人类
METR 更新 AI 时间跨度图,加入耗时更长、更加开放且依赖判断的任务;报告显示部分能力继续呈指数提升,但模型在此类任务上的表现不及编码任务和人类。没有一项由 AI 设计的评测被 METR 员工认为可用于研究,Opus 5.5 等新模型仅达到“勉强高于门槛”的水平。由于人类完成时间多为估算、开放式任务样本少且部分评分依赖单一评审,报告难以据此清晰外推 AI 研发自动化的进展。
METR 更新 AI 时间跨度图,加入耗时更长、更加开放且依赖判断的任务;报告显示部分能力继续呈指数提升,但模型在此类任务上的表现不及编码任务和人类。没有一项由 AI 设计的评测被 METR 员工认为可用于研究,Opus 5.5 等新模型仅达到“勉强高于门槛”的水平。由于人类完成时间多为估算、开放式任务样本少且部分评分依赖单一评审,报告难以据此清晰外推 AI 研发自动化的进展。
VibePrevisBench 可将脚本、照片或视频转换为 Blender 中可执行的 4D 场景,并对转换结果进行评测。它采用基于规则的方法检查场景本身,并基于 VLM 检查对应的代理视频。
Agent Initiative Benchmark 在一家拥有 6 年详细历史、财务模型、CRM 记录、逾期发票和 Linear 工单的模拟公司中,测试了 12 个前沿模型如何通过 Slack 主动协助团队。
SO-Arena 基准测试评估了 System One 模型在11个领域、五类能力中的能力范围与决策可靠性。它通过证据核验、细粒度难度标准和沙盒交互任务评估能力,并用选项集变化下的决策稳定性和无有效选项时的缺失答案识别衡量可靠性。对21个模型的评估显示,扩展规模和增加推理的收益因领域而异,整体表现最强的 System One 模型在可靠性上排第七。
Anthropic 与 Diode Computers 合作,测试 Claude Fable 5.2 从电路设计、PCB 布局、CAD 建模到固件编写的电子设备设计能力。
推荐理由:文章展示 Claude Fable 5.2 从电路布局、CAD 建模到固件编写的完整硬件设计流程,并用 PCB Gym 与 BenchCAD 结果呈现其相较旧模型的提升。