跳到正文
Hugging Face 每日热门论文·· 12 天前AI 评分57

SteerDistill:用闭环教师引导量化 LLM 智能体

SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering

AI 导读

SteerDistill 提出一种量化感知蒸馏方法,让全精度教师根据量化智能体的执行反馈修正失败响应,并将修正后的行为内化到学生模型中。在五项智能体基准和三个模型上,W4A16 平均得分比最强量化基线高 1.67--2.18 points,并与 BF16 相差不超过 one point。

来源:Hugging Face 每日热门论文 · huggingface.co