Hugging Face 每日热门论文·· 12 天前AI 评分57
SteerDistill:用闭环教师引导量化 LLM 智能体
SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
AI 导读
SteerDistill 提出一种量化感知蒸馏方法,让全精度教师根据量化智能体的执行反馈修正失败响应,并将修正后的行为内化到学生模型中。在五项智能体基准和三个模型上,W4A16 平均得分比最强量化基线高 1.67--2.18 points,并与 BF16 相差不超过 one point。
来源:Hugging Face 每日热门论文 · huggingface.co