跳到正文
今天11月21日周六1 条
  1. MIT Technology Review · AI70

    METR 大幅更新 AI 时间跨度图,模型在判断型任务上落后于人类

    METR 更新 AI 时间跨度图,加入耗时更长、更加开放且依赖判断的任务;报告显示部分能力继续呈指数提升,但模型在此类任务上的表现不及编码任务和人类。没有一项由 AI 设计的评测被 METR 员工认为可用于研究,Opus 5.5 等新模型仅达到“勉强高于门槛”的水平。由于人类完成时间多为估算、开放式任务样本少且部分评分依赖单一评审,报告难以据此清晰外推 AI 研发自动化的进展。

11月16日周一
11月13日周五
11月11日周三
  1. Hugging Face 每日热门论文53

    SO-Arena:评测 System One 模型的能力范围与决策可靠性

    SO-Arena 基准测试评估了 System One 模型在11个领域、五类能力中的能力范围与决策可靠性。它通过证据核验、细粒度难度标准和沙盒交互任务评估能力,并用选项集变化下的决策稳定性和无有效选项时的缺失答案识别衡量可靠性。对21个模型的评估显示,扩展规模和增加推理的收益因领域而异,整体表现最强的 System One 模型在可靠性上排第七。

11月9日周一