跳到正文
今天11月21日周六3 条
  1. Ars Technica · AI70

    研究人员向 AI 供应链植入 200 万个数字金丝雀,发现敏感数据泄漏

    HD Moore 在 AI 服务供应链的请求中植入 200 万个数字金丝雀,发现该生态存在敏感数据泄漏。许多 AI 应用通过 OpenRouter 或 Vercel 等 AI 路由服务,将用户提示词按价格或任务适配度转交给推理引擎。实验把关联空 AWS 账户的有效访问密钥、SSH 密码、唯一 URL、DNS 名称和私有 git 仓库引用分别放入仅发送给一家服务商的一条提示词,以追踪泄漏链路。

  2. OpenAI News80

    OpenAI 公布对抗性知识蒸馏防御方案,GPT‑6.2 Astra 推理提取攻击成功率降至0.2%

    OpenAI 公布对抗性知识蒸馏防御方案,并称 GPT‑6.2 Astra 在自适应黑盒红队评测中,从此前请求提取受保护推理的平均攻击成功率由 GPT‑6 Astra 的54.0%降至0.2%。该方案结合对抗训练、输入与输出分类器、API 控制,以及针对跨账户协同提取活动的调查和处置;内部研究还发现,精确推理轨迹可向学生模型转移更多网络能力。

    推荐理由:内部自适应红队评测显示,更新防护后此前请求的受保护推理提取成功率由54.0%降至0.2%,为反蒸馏防御提供量化参照。

11月19日周四
  1. The Decoder83

    Anthropic、OpenAI 和 Google 模型在测试中轻易将医护、记者及投降士兵标记为自杀式无人机目标

    Vals AI 对八家提供商的模型进行测试,发现多数模型会在真实及逼真合成的无人机和卫星图像中,将平民、救护车、医护、记者和投降士兵标为军事目标,且上游安全过滤器未阻止任何请求。

    推荐理由:这项跨模型测试量化了游戏化提示对拒绝率和目标获取率的影响,为自主武器场景的安全评估提供了可比较数据。

11月17日周二
11月12日周四
  1. Google Developers Blog62

    Google 评测 Agent Anomaly Detection 在五个公开基准上的表现

    Google 使用 Agent Development Kit(ADK)和 gemini-2.5-flash,在五个非 Google 编写的公开安全基准上测试 Private Preview 中的 Agent Anomaly Detection,共评测 1,774 个 sessions。

    推荐理由:五个公开安全基准的测试展示了 Agent Anomaly Detection 对已执行有害指令的检测效果,也暴露出对长期记忆投毒的覆盖短板。

11月10日周二
  1. Google DeepMind66

    Google DeepMind推出AlphaProof Code,完成Signal协议代码的形式化验证

    Google DeepMind研究人员开发出AlphaProof Code,一种多LLM智能体框架,用于对代码进行深度形式化验证,并用它对广泛部署的Signal加密协议的实际代码完成了形式化验证,证明其满足关键安全属性。验证过程中由Gemini Carbon驱动的智能体生成超过六百万行Lean证明代码,人工只需复核约百分之一的代码,整个验证耗时四周,团队已开源相关验证成果并发布技术论文。

    推荐理由:原文给出了AlphaProof Code从规格翻译到证明生成的具体分工,也说明人工复核只占代码的一小部分。

11月6日周五
  1. Microsoft Research54

    Microsoft Research 推出 PDD Kit,形式化验证智能体编写的全栈 Web 应用

    Microsoft Research 发布 PDD Kit,一套结合 Verus 形式化证明和测试来验证智能体编写代码是否符合开发者意图的工具包。团队在 GitHub Next 的 Chopin 环境中用它验证了 Rust 全栈应用 Pet Store 的登录逻辑,证明代码在所有输入下满足规范,同时对 bcrypt、SQLite 查询等无法证明的部分保留测试覆盖。

9月21日周一