Diffusers 支持用 LoRA 微调 RFD4-Proteina 进行蛋白质设计
Diffusers 现可通过 LoRA 微调 NVIDIA 的 RFD4-Proteina,用于蛋白质设计。示例使用 flow-matching 损失,在去噪器上训练 rank-32 适配器,处理骨架坐标和局部潜变量而非像素;大部分训练代码与标准图像和视频生成模型相似。详情:github.com/huggingface/diffus…
Diffusers 现可通过 LoRA 微调 NVIDIA 的 RFD4-Proteina,用于蛋白质设计。示例使用 flow-matching 损失,在去噪器上训练 rank-32 适配器,处理骨架坐标和局部潜变量而非像素;大部分训练代码与标准图像和视频生成模型相似。详情:github.com/huggingface/diffus…
Arcfront 推出一套平台,利用直接从一线专家采集的专业数据训练 AI 模型。成立不到一年,它已获得五大前沿 AI 实验室中4家客户,并与300+ 家大型企业合作,记录软件回滚、芯片设计规划和并购评估等决策过程。
OpenAI 介绍 GPT-Rosalind 如何从小鼠脑数据中提出药物发现线索,探索恢复胆固醇运输能否保护神经元免于退化。DCTN1 被破坏后,参与合成胆固醇的基因表达增加,GPT-Rosalind 据此提出胆固醇可能未被输送到神经元所需位置。
OpenAI 公布对抗性知识蒸馏防御方案,并称 GPT‑6.2 Astra 在自适应黑盒红队评测中,从此前请求提取受保护推理的平均攻击成功率由 GPT‑6 Astra 的54.0%降至0.2%。该方案结合对抗训练、输入与输出分类器、API 控制,以及针对跨账户协同提取活动的调查和处置;内部研究还发现,精确推理轨迹可向学生模型转移更多网络能力。
推荐理由:内部自适应红队评测显示,更新防护后此前请求的受保护推理提取成功率由54.0%降至0.2%,为反蒸馏防御提供量化参照。
OpenAI 公布对抗模型蒸馏的新研究,指出蒸馏可以复制强大的 AI 能力,却不包含围绕这些能力构建的安全措施。研究涵盖能力如何迁移,以及 OpenAI 如何检测并干扰协同尝试;相关发现正用于强化其防御并支持全行业的安全措施。openai.com/index/combatting-a…
Google 介绍了 MaxText 中 Streaming DiLoCo 的跨数据中心 LLM 训练机制,通过分片并错峰同步模型参数,减少 DCN 或 WAN 上的通信停顿。
UIUC、IBM 及合作者开发 Game2Player,联合构建可验证的网页游戏环境与玩家,以扩展视觉智能体训练。其覆盖 568 games、3,436 tasks 和 307 hours of gameplay,9B 模型在 PlayerBench 上的成绩从 14.3% 提升至 31.2%。
Dharma-AI 基于 272 次 H200 生产环境 SFT 任务发现,FLOP 基线的 R² 为 0.31、MAE 为 12.41 h,而使用任务派发前信息的 CatBoost 达到 R² 0.98、MAE 1.71 h,中位绝对误差为 0.51 h。
印度 Humyn Labs 获得 $47 million A 轮融资,为美国 AI 和机器人公司提供训练模型所需的真实世界数据。其中 $26 million 为 Accel 领投的股权融资,$21 million 为风险债务,用于缓解向数据采集人员付款与客户 30 至 60 天回款之间的资金缺口。
Osmo 称其 AI 嗅觉模型近几个月已达到“人类水平嗅觉智能”,能像普通人一样检测和区分气味,并接近初级调香师的气味创作水平。该模型依托超过1000万人类标签和8亿个气味 token 训练,已用于香水设计制造,还识别出8种比 DEET 更具驱避性的物质。批评者与研究者指出,其部分营销主张缺少文档支持,情境依赖和传感器能力也可能制约开放环境及医疗诊断应用。
Xing 4 系列延续 TeleChat,在 Ascend 上协同改进模型架构与训练基础设施。基于 MindSpore HyperParallel 的系统支持在 8,192 张 Ascend 910C 卡上预训练 285B 参数模型;后训练平台 TeleGym 则连接智能体执行、评估、轨迹构建与策略优化。
Institute of Foundation Models 将 K2 Horizon 技术报告发布至 arXiv,以 134 页详述六个模型从架构、预训练、数据、后训练到推理的构建过程。
推荐理由:报告将模型架构、22T tokens 预训练、合成数据、后训练与加速推理串成完整流程,可作为大模型规模化训练的复现参考。
随着决策模型使用量快速上升,Sqwish 把利用客户生产数据持续调优作为差异化方向。10月,Vercel 的 AI 模型路由器中超过四分之一请求流向决策模型,这类模型不生成输出 token,而是在预设选项间快速选择并给出置信度。Microsoft 正在 Azure 上广泛部署 Microsoft-Decision-1.1,Sqwish 则宣布获得 $3 million pre-seed 融资。
Google 介绍了 Tunix 中的 Zero-TIM 实现,它让采样器解码、服务预填充与训练器前向在相同权重和 token 历史下,为采样动作生成逐位一致的 logprob。
Import AI 第481期梳理了智能体花钱改进机器学习任务、面向 AI 的生物湿实验室,以及模型在后继模型开发中隐蔽执行危险副任务。
swyx 转发 Matt Stockton 对本周 Handshake 播客的评论,称这场近 3 小时的讨论颇具启发性。讨论认为,AI labs 需要越来越多高质量的 RL envs、verifiers、simulations 和 expert feedback,为 Physics、biology、healthcare 等领域训练模型;能生成这类数据的公司因此面临巨大需求和高毛利。
AllocFlow从原始多资产市场历史端到端生成联合投资组合配置,以跨资产流Transformer输出连续有符号仓位权重。两阶段训练结合策略监督模仿与组相对强化学习。在小时级加密货币永续期货上,年化净收益由27.79%升至51.38%,Calmar比率由0.955升至4.043;无需重训,在另外6个月未见的2026年数据上达到4.90。
Multi-Branch Transformer(MBT)并行执行多个独立参数的完整 Transformer 块,并在共享末层前融合分支输出。
非营利研究机构Unemployment Labs的Will DePue分析了DeepSeek、Moonshot AI、MiniMax和Ant Group公开发布的模型权重,称Moonshot的Kimi K3系列和DeepSeek的V4系列模型带有使用受出口禁令限制的Nvidia Blackwell芯片训练的痕迹。
Google DeepMind 发布 PARDIG 和 SatWeave 两个数据集,作为 WeatherNext 3 背后的基础数据集,帮助研究者和开发者构建新的气候应用。
IBM Granite团队发布LLM原生标记语言LLMON,并推出两个基于Granite 4.1训练的实验性预览模型granite-4.1-3b-LLMON-preview与granite-4.1-8b-LLMON-preview。
Hugging Face发布TRELLIS.2 3D生成模型的LoRA微调指南,提供可在本地或Hugging Face Jobs上运行的预处理和训练容器脚本。
论文提出 Ropedia Xperience 2,包含 1,589 个米尺度 3D 扫描,以及涵盖 74 项任务的 4,230 段第一视角录制,总时长 131 hours。
PhysLoop 提出一个统一框架,利用并约束 LLM 在视频生成、筛选和修正过程中的物理知识,推动视频生成模型自我改进。框架支持可控训练数据构建和推理时视频修复,发布了覆盖多样室内外场景的 100K videos、生成工具以及 PhysLoop-Gen 和 PhysLoop-Repair 两个评测数据集。
这项研究比较了三种决策模型和三种通用 LLM 在 ALFWorld 上作为行动者与评判者的表现,并用 JEV 在 ALFWorld 和 WebShop 上担任教师。
Google DeepMind 发布 AlphaGenome 2,用于预测 DNA 序列及变异如何影响特定人类细胞类型和细胞状态。
推荐理由:它把单细胞状态作为条件输入,连接遗传变异与具体细胞类型,为研究者定位疾病相关变异及其调控基因提供可复用的预测工具。
Open Vision Banana(OVB)提出一套将预训练图像生成器转换为统一多任务视觉感知系统的全开源、可复现方案。基于 4B 和 9B 参数的开放权重基础模型及 2.1M-3.8M 个公开数据集训练对,OVB 在 Cityscapes zero-shot 上以 73.9 mIoU 超过 Vision Banana 报告的 69.9,并接近当前最先进的仿射不变深度估计器。
SteerDistill 提出一种量化感知蒸馏方法,让全精度教师根据量化智能体的执行反馈修正失败响应,并将修正后的行为内化到学生模型中。在五项智能体基准和三个模型上,W4A16 平均得分比最强量化基线高 1.67--2.18 points,并与 BF16 相差不超过 one point。
该论文提出 TOME-Math,将覆盖大学数学核心领域的2,118本教材转换为约380K条结构化证明监督记录。语料保留章节顺序、命题与证明链接、依赖引用和来源溯源,并用于探索跨学科课程学习与监督规模效应。在完整规模微调中,模型在保留评测和公开基准上的无加权平均分比基础模型高16.7个百分点,并在汇总评估中超过三个公开指令数据基线;作者将发布该语料。
Mistral AI 发布 Timestral 时间序列基础模型家族,提供 5M、28M、123M 和 209M 四种规模,支持多变量概率预测、过去协变量和已知未来协变量。
推荐理由:原文同时给出四种参数规模、CPU 推理延迟和公开基准结果,便于比较时间序列基础模型的精度、效率与部署成本。
Qwen 发布 QwenGyre,用于极长时程(XLong)智能体训练,并提出 Elastic Scheduler 与 Trajectory Processor 两项设计。
Meta 的 SAM 3 与 DINOv3 被 Genesis Mission 旗下、由 Berkeley Lab 主导的 SYNAPS-I 项目用于 X-ray 和中子科学数据的实时图像分割。
推荐理由:文章展示了 SYNAPS-I 如何将 SAM 3 与 DINOv3 微调后部署在 300 A100 GPUs 上,把葡萄藤微 CT 图像的分割分析从每个时间步一个月压缩至约 15 分钟。
Meta 发布 Brain2Qwerty v2 研究,端到端管线可从非侵入式脑信号实时解码句子,词准确率达到 61%。系统基于 9 名志愿者约 22,000 个句子和 MEG 记录训练,最佳参与者的词准确率达到 78%,超过一半句子的解码结果仅含一个或更少词错误。
推荐理由:研究将非侵入式脑信号实时句子解码做到 61% 词准确率,并公开训练代码与 v1 数据集,为复现和后续研究提供具体基础。