跳到正文
今天11月21日周六2 条
  1. OpenAI News80

    OpenAI 公布对抗性知识蒸馏防御方案,GPT‑6.2 Astra 推理提取攻击成功率降至0.2%

    OpenAI 公布对抗性知识蒸馏防御方案,并称 GPT‑6.2 Astra 在自适应黑盒红队评测中,从此前请求提取受保护推理的平均攻击成功率由 GPT‑6 Astra 的54.0%降至0.2%。该方案结合对抗训练、输入与输出分类器、API 控制,以及针对跨账户协同提取活动的调查和处置;内部研究还发现,精确推理轨迹可向学生模型转移更多网络能力。

    推荐理由:内部自适应红队评测显示,更新防护后此前请求的受保护推理提取成功率由54.0%降至0.2%,为反蒸馏防御提供量化参照。

11月19日周四
11月17日周二
  1. AWS Machine Learning Blog69

    Amazon Bedrock Guardrails 编写 Denied Topics 的八项最佳实践

    AWS 给出 Amazon Bedrock Guardrails 中 Denied Topics 的八项编写实践,重点是按用户意图和具体动作界定主题。文章建议采用动作型名称与定义、最多五个边界示例和上下文锚点,合并重叠主题,并将通用安全类别、固定词、敏感信息和提示词攻击分别交给对应策略。Denied Topics 的结果并非完全确定,关键输入应重复测试,并在主题增删、改名或重排后重新评估。

11月12日周四
  1. Google Developers Blog62

    Google 评测 Agent Anomaly Detection 在五个公开基准上的表现

    Google 使用 Agent Development Kit(ADK)和 gemini-2.5-flash,在五个非 Google 编写的公开安全基准上测试 Private Preview 中的 Agent Anomaly Detection,共评测 1,774 个 sessions。

    推荐理由:五个公开安全基准的测试展示了 Agent Anomaly Detection 对已执行有害指令的检测效果,也暴露出对长期记忆投毒的覆盖短板。

11月10日周二
  1. Google DeepMind66

    Google DeepMind推出AlphaProof Code,完成Signal协议代码的形式化验证

    Google DeepMind研究人员开发出AlphaProof Code,一种多LLM智能体框架,用于对代码进行深度形式化验证,并用它对广泛部署的Signal加密协议的实际代码完成了形式化验证,证明其满足关键安全属性。验证过程中由Gemini Carbon驱动的智能体生成超过六百万行Lean证明代码,人工只需复核约百分之一的代码,整个验证耗时四周,团队已开源相关验证成果并发布技术论文。

    推荐理由:原文给出了AlphaProof Code从规格翻译到证明生成的具体分工,也说明人工复核只占代码的一小部分。

  2. Google DeepMind67

    Google DeepMind 推出 Gemini Robotics 2.5,加速现实世界通用灵巧操作

    Google DeepMind 发布新一代视觉-语言-动作模型 Gemini Robotics 2.5,用于提升机器人在真实环境中的灵巧操作能力。该模型在200多项任务测试中,相比此前基线成功率提高30%至100%,完成速度提升20%至30%;在匈牙利和德国的梅赛德斯-奔驰产线试点中,Apptronik Apollo 2人形机器人利用该模型完成汽车零件分拣打包,成功率达96%。

    推荐理由:原文给出了相比基线30%至100%的成功率提升和奔驰产线96%的实测数据,便于衡量这代模型的实际进展。

11月6日周五
  1. Microsoft Research54

    Microsoft Research 推出 PDD Kit,形式化验证智能体编写的全栈 Web 应用

    Microsoft Research 发布 PDD Kit,一套结合 Verus 形式化证明和测试来验证智能体编写代码是否符合开发者意图的工具包。团队在 GitHub Next 的 Chopin 环境中用它验证了 Rust 全栈应用 Pet Store 的登录逻辑,证明代码在所有输入下满足规范,同时对 bcrypt、SQLite 查询等无法证明的部分保留测试覆盖。

5月25日周一
  1. Anthropic Engineering82

    Anthropic 解析如何在 Claude 产品中限制智能体影响范围

    Anthropic 介绍了如何在 claude.ai、Claude Code 和 Claude Cowork 中通过环境隔离、模型防护与外部内容控制来限制智能体的潜在影响范围。

    推荐理由:文章以 Claude 产品的真实案例说明,智能体安全应先在环境层设置确定性隔离,再用模型层约束行为,并按用户监督能力匹配隔离强度。