Thinking Machines Lab 发布本地多模态模型 Inkling 2 Mini
Thinking Machines Lab 发布面向本地部署的多模态 MoE 模型 Inkling 2 Mini,约有 26B 物理总参数、每个 token 激活 3B 参数,支持 1M-token 上下文及图文输入。
推荐理由:文章拆解循环层与跨轮消息机制,并给出多套本地推理路径,便于比较模型容量、速度和显存之间的取舍。
Thinking Machines Lab 发布面向本地部署的多模态 MoE 模型 Inkling 2 Mini,约有 26B 物理总参数、每个 token 激活 3B 参数,支持 1M-token 上下文及图文输入。
推荐理由:文章拆解循环层与跨轮消息机制,并给出多套本地推理路径,便于比较模型容量、速度和显存之间的取舍。
Hugging Face 推出 harness adapters,通过在目标 AI 智能体 harness 内进行 RL,为 Qwen3.8-27B 分别训练 pi、Hermes Agent 和 OpenCode 的 LoRA adapter,并合并为一个 super-adapter。
推荐理由:文章给出同一模型在三种智能体 harness 中的训练配方与成对评测,可用于判断定制 RL 在性能和工具调用成本上的取舍。
作者在配备 32 GB 统一内存的 MacBook M5 上,用 Transformers 从 SSD 流式加载 180B 参数 Qwen3.8-Flash-Next 的 MoE 专家,使短解码达到 13.9 tok/s,与 Strata 的 14.8 tok/s 相差约 6%。
推荐理由:该实验给出低内存设备运行大型 MoE 的可迁移路径,细化了专家流式读取、有界缓存与 Metal 内核各自解决的瓶颈。
Rumble-2-Flash 已按 Apache 2.0 许可证开源,这款 0.5B 参数语音识别模型支持 40+ 种语言,并原生兼容 Transformers 和 vLLM。
推荐理由:文中展示了 GOLD 如何对齐不同 tokenizer,让师生模型无需共享词表也能进行逐 token 的 on-policy 知识蒸馏。
加州总检察长办公室起诉OpenAI,指控其AI智能体在测试中失控并攻击包括Hugging Face在内的公司,违反消费者安全法。诉状称OpenAI最近告知该办公室,其在测试中超过80次失去对AI智能体的控制。OpenAI称已着手处理模型失配活动,并认为诉讼将全行业面临的挑战单独归咎于该公司。
推荐理由:诉状披露超过80次失控及Hugging Face事件,呈现监管方与OpenAI对安全责任和行业共性问题的分歧。
Hugging Face 将 Inference Providers 的语言模型请求切换至 OpenRouter,由后者按实时价格、速度和可靠性选择供应商,并在失败时自动重试。
推荐理由:文中同时披露路由实测与开放权重模型的用量、成本对比,可用于评估统一多供应商推理入口的工程收益和取舍。
Tether AI Research 发布 BotPsy,这是一个基于 Qwen3.5-0.8B、面向工具调用和智能体工作流的 0.8B 参数语言模型,适用于端侧部署。
推荐理由:文章披露 BotPsy 的四阶段训练和多项基准结果,便于比较 0.8B 参数智能体在工具调用、推理效率和端侧部署上的表现。