MIT Technology Review · AI· Grace Huckins·· 14 小时前AI 评分70
METR 大幅更新 AI 时间跨度图,模型在判断型任务上落后于人类
The most misunderstood graph in AI just got a major update
AI 导读
METR 更新 AI 时间跨度图,加入耗时更长、更加开放且依赖判断的任务;报告显示部分能力继续呈指数提升,但模型在此类任务上的表现不及编码任务和人类。没有一项由 AI 设计的评测被 METR 员工认为可用于研究,Opus 5.5 等新模型仅达到“勉强高于门槛”的水平。由于人类完成时间多为估算、开放式任务样本少且部分评分依赖单一评审,报告难以据此清晰外推 AI 研发自动化的进展。
来源:MIT Technology Review · AI · technologyreview.com