研究人员向 AI 供应链植入 200 万个数字金丝雀,发现敏感数据泄漏
HD Moore 在 AI 服务供应链的请求中植入 200 万个数字金丝雀,发现该生态存在敏感数据泄漏。许多 AI 应用通过 OpenRouter 或 Vercel 等 AI 路由服务,将用户提示词按价格或任务适配度转交给推理引擎。实验把关联空 AWS 账户的有效访问密钥、SSH 密码、唯一 URL、DNS 名称和私有 git 仓库引用分别放入仅发送给一家服务商的一条提示词,以追踪泄漏链路。
HD Moore 在 AI 服务供应链的请求中植入 200 万个数字金丝雀,发现该生态存在敏感数据泄漏。许多 AI 应用通过 OpenRouter 或 Vercel 等 AI 路由服务,将用户提示词按价格或任务适配度转交给推理引擎。实验把关联空 AWS 账户的有效访问密钥、SSH 密码、唯一 URL、DNS 名称和私有 git 仓库引用分别放入仅发送给一家服务商的一条提示词,以追踪泄漏链路。
OpenAI 公布对抗性知识蒸馏防御方案,并称 GPT‑6.2 Astra 在自适应黑盒红队评测中,从此前请求提取受保护推理的平均攻击成功率由 GPT‑6 Astra 的54.0%降至0.2%。该方案结合对抗训练、输入与输出分类器、API 控制,以及针对跨账户协同提取活动的调查和处置;内部研究还发现,精确推理轨迹可向学生模型转移更多网络能力。
推荐理由:内部自适应红队评测显示,更新防护后此前请求的受保护推理提取成功率由54.0%降至0.2%,为反蒸馏防御提供量化参照。
OpenAI 公布对抗模型蒸馏的新研究,指出蒸馏可以复制强大的 AI 能力,却不包含围绕这些能力构建的安全措施。研究涵盖能力如何迁移,以及 OpenAI 如何检测并干扰协同尝试;相关发现正用于强化其防御并支持全行业的安全措施。openai.com/index/combatting-a…
OpenAI 分享 AI 改变其内部研究的新数据,发现研究者的 AI 使用量持续指数增长,智能体正完成更长的任务。人类参与仍是研究核心,安全与对齐领域的人力投入增长快于其他任何单一研究领域。
PromptArmor 发布 FrontierBreach,用于衡量企业 AI 智能体在真实工作流中被隐藏指令误导,进而导致数据外泄或运行攻击者代码的频率。
Vals AI 对八家提供商的模型进行测试,发现多数模型会在真实及逼真合成的无人机和卫星图像中,将平民、救护车、医护、记者和投降士兵标为军事目标,且上游安全过滤器未阻止任何请求。
推荐理由:这项跨模型测试量化了游戏化提示对拒绝率和目标获取率的影响,为自主武器场景的安全评估提供了可比较数据。
Childlight Institute 报告显示,AI 生成儿童性虐待图像举报量从 2023 年约 4,700 张升至 2025 年逾 400,000 张,两年增幅超过 8,400%。
Microsoft Research 研究人员 Dimitris Papailiopoulos 及合作者发现一类重要的新型 LLM 漏洞,并先向公司披露。团队制定保护客户所需的缓解措施后,向公众公布漏洞及推荐防御方案。
OpenAI 转发 Jeffrey Wang 关于 CoT 可监控性的研究,考察无 CoT 能力和 CoT 可控性如何随模型训练生命周期演化。研究发现,随着系统趋向更智能,模型越来越难通过其 CoT 进行监控。
Google 使用 Agent Development Kit(ADK)和 gemini-2.5-flash,在五个非 Google 编写的公开安全基准上测试 Private Preview 中的 Agent Anomaly Detection,共评测 1,774 个 sessions。
推荐理由:五个公开安全基准的测试展示了 Agent Anomaly Detection 对已执行有害指令的检测效果,也暴露出对长期记忆投毒的覆盖短板。
Google DeepMind研究人员开发出AlphaProof Code,一种多LLM智能体框架,用于对代码进行深度形式化验证,并用它对广泛部署的Signal加密协议的实际代码完成了形式化验证,证明其满足关键安全属性。验证过程中由Gemini Carbon驱动的智能体生成超过六百万行Lean证明代码,人工只需复核约百分之一的代码,整个验证耗时四周,团队已开源相关验证成果并发布技术论文。
推荐理由:原文给出了AlphaProof Code从规格翻译到证明生成的具体分工,也说明人工复核只占代码的一小部分。
Microsoft Research 发布 PDD Kit,一套结合 Verus 形式化证明和测试来验证智能体编写代码是否符合开发者意图的工具包。团队在 GitHub Next 的 Chopin 环境中用它验证了 Rust 全栈应用 Pet Store 的登录逻辑,证明代码在所有输入下满足规范,同时对 bcrypt、SQLite 查询等无法证明的部分保留测试覆盖。
Jack Clark 在 Import AI 473 中汇总 RAND 的美国超级智能战略,以及人类脑组织移植小鼠、AI 进展节奏和递归自我改进等研究,并以机器诠释学故事收束。