Dharma-AI 研究为何微调任务耗时比 FLOP 估算更长
Dharma-AI 基于 272 次 H200 生产环境 SFT 任务发现,FLOP 基线的 R² 为 0.31、MAE 为 12.41 h,而使用任务派发前信息的 CatBoost 达到 R² 0.98、MAE 1.71 h,中位绝对误差为 0.51 h。
Dharma-AI 基于 272 次 H200 生产环境 SFT 任务发现,FLOP 基线的 R² 为 0.31、MAE 为 12.41 h,而使用任务派发前信息的 CatBoost 达到 R² 0.98、MAE 1.71 h,中位绝对误差为 0.51 h。
OpenAI 使用 GPT‑6 Astra 优化了 Jalapeño 芯片采用的电路,并改进 RISC‑V 核心设计。这些成果显示,AI 辅助芯片设计取得了进展。
研究发现,在由 LLM 直接编写目标权重且不使用梯度训练的权重空间编程中,自由设计的架构不必采用 Transformer。三个前沿 LLM 都将纯文本事实编入稀疏表并通过固定程序查询,测试准确率最高达 54.4%;其中一个 LLM 设计的模型比同一 LLM 编写的最准确已发布 Transformer 使用约 1,800x 更少参数,却取得更高测试准确率。
Xing 4 系列延续 TeleChat,在 Ascend 上协同改进模型架构与训练基础设施。基于 MindSpore HyperParallel 的系统支持在 8,192 张 Ascend 910C 卡上预训练 285B 参数模型;后训练平台 TeleGym 则连接智能体执行、评估、轨迹构建与策略优化。
一项发表于 Nature Sustainability 的研究估算,美国403座超大规模数据中心在2024年5月至2025年4月消耗约82 terawatt-hours 电力,占全美用电量1.8%,高于约148个国家各自的年用电量。研究估计这些设施产生25.7 million metric tons CO2 排放,约54%的用电来自天然气和煤炭;怀俄明州的单位用电碳排放约为俄勒冈州的7倍。
Google 介绍了 Tunix 中的 Zero-TIM 实现,它让采样器解码、服务预填充与训练器前向在相同权重和 token 历史下,为采样动作生成逐位一致的 logprob。
Multi-Branch Transformer(MBT)并行执行多个独立参数的完整 Transformer 块,并在共享末层前融合分支输出。
Anthropic 与 Diode Computers 合作,测试 Claude Fable 5.2 从电路设计、PCB 布局、CAD 建模到固件编写的电子设备设计能力。
推荐理由:文章展示 Claude Fable 5.2 从电路布局、CAD 建模到固件编写的完整硬件设计流程,并用 PCB Gym 与 BenchCAD 结果呈现其相较旧模型的提升。
Google Cloud 展示了代号 Project Chrysalis 的自演化 AI 智能体参考架构,可运行在 Gemini platform 和 Agent Development Kit(ADK)上。
IBM Research 将 K-Search 扩展为支持 MLX 的后端,并用结构化 CUDA-to-MLX 翻译层把 CUDA 内核经验迁移到 Apple Silicon 上进行演化优化。
推荐理由:文章说明结构化翻译层如何将 CUDA 内核经验迁移到 Apple Silicon,并用 Attention 与 Mamba SSM 的实测结果呈现具体优化路径。