跳到正文
Hugging Face 每日热门论文·· 5 天前AI 评分58

权重空间编程不需要 Transformer

Weight-Space Programming Doesn't Need Transformers

AI 导读

研究发现,在由 LLM 直接编写目标权重且不使用梯度训练的权重空间编程中,自由设计的架构不必采用 Transformer。三个前沿 LLM 都将纯文本事实编入稀疏表并通过固定程序查询,测试准确率最高达 54.4%;其中一个 LLM 设计的模型比同一 LLM 编写的最准确已发布 Transformer 使用约 1,800x 更少参数,却取得更高测试准确率。

来源:Hugging Face 每日热门论文 · huggingface.co