跳到正文
Hugging Face 每日热门论文·· 11 天前AI 评分53

SO-Arena:评测 System One 模型的能力范围与决策可靠性

SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models

AI 导读

SO-Arena 基准测试评估了 System One 模型在11个领域、五类能力中的能力范围与决策可靠性。它通过证据核验、细粒度难度标准和沙盒交互任务评估能力,并用选项集变化下的决策稳定性和无有效选项时的缺失答案识别衡量可靠性。对21个模型的评估显示,扩展规模和增加推理的收益因领域而异,整体表现最强的 System One 模型在可靠性上排第七。

来源:Hugging Face 每日热门论文 · huggingface.co