跳到正文
11月12日周四
  1. Google Developers Blog62

    Google 评测 Agent Anomaly Detection 在五个公开基准上的表现

    Google 使用 Agent Development Kit(ADK)和 gemini-2.5-flash,在五个非 Google 编写的公开安全基准上测试 Private Preview 中的 Agent Anomaly Detection,共评测 1,774 个 sessions。

    推荐理由:五个公开安全基准的测试展示了 Agent Anomaly Detection 对已执行有害指令的检测效果,也暴露出对长期记忆投毒的覆盖短板。

11月10日周二
  1. Google DeepMind66

    Google DeepMind推出AlphaProof Code,完成Signal协议代码的形式化验证

    Google DeepMind研究人员开发出AlphaProof Code,一种多LLM智能体框架,用于对代码进行深度形式化验证,并用它对广泛部署的Signal加密协议的实际代码完成了形式化验证,证明其满足关键安全属性。验证过程中由Gemini Carbon驱动的智能体生成超过六百万行Lean证明代码,人工只需复核约百分之一的代码,整个验证耗时四周,团队已开源相关验证成果并发布技术论文。

    推荐理由:原文给出了AlphaProof Code从规格翻译到证明生成的具体分工,也说明人工复核只占代码的一小部分。

  2. OpenAI55

    OpenAI 构建 Control Room 监控并快速停止模型工作负载

    OpenAI 构建了 Control Room,用于跟踪研究基础设施中的模型工作负载,并在出现安全或安保问题时快速停止任务。该系统连接模型训练与评估中的智能体采样、数据处理等研究推理工作负载,并与 misalignment 监控系统协同,在决定干预后 35 秒内停止模型输出或暂停任务。详情见 openai.com/index/control-room/。

  3. Google DeepMind67

    Google DeepMind 推出 Gemini Robotics 2.5,加速现实世界通用灵巧操作

    Google DeepMind 发布新一代视觉-语言-动作模型 Gemini Robotics 2.5,用于提升机器人在真实环境中的灵巧操作能力。该模型在200多项任务测试中,相比此前基线成功率提高30%至100%,完成速度提升20%至30%;在匈牙利和德国的梅赛德斯-奔驰产线试点中,Apptronik Apollo 2人形机器人利用该模型完成汽车零件分拣打包,成功率达96%。

    推荐理由:原文给出了相比基线30%至100%的成功率提升和奔驰产线96%的实测数据,便于衡量这代模型的实际进展。

11月6日周五
  1. Microsoft Research54

    Microsoft Research 推出 PDD Kit,形式化验证智能体编写的全栈 Web 应用

    Microsoft Research 发布 PDD Kit,一套结合 Verus 形式化证明和测试来验证智能体编写代码是否符合开发者意图的工具包。团队在 GitHub Next 的 Chopin 环境中用它验证了 Rust 全栈应用 Pet Store 的登录逻辑,证明代码在所有输入下满足规范,同时对 bcrypt、SQLite 查询等无法证明的部分保留测试覆盖。

9月29日周二
9月22日周二
  1. Andrew Ng60

    Andrew Ng认为AI风险炒作过度,应通过工程修复安全问题

    Andrew Ng认为,近期围绕AI危险的恐慌被过度炒作,安全问题应靠工程修复而非暂停AI发展。他以OpenAI智能体集群入侵Hugging Face为例,指出报道中的1,200个智能体并不等于神奇能力,OpenAI的沙箱与监控缺陷才是事件关键。他认为AI智能体已改变网络安全威胁格局,但AI的有益应用仍远超风险,应继续推进建设。

  2. Andrew Ng57

    Andrew Ng:AI 风险恐慌被炒作,工程修复优于暂停 AI 进展

    Andrew Ng 认为,近期 AI 风险恐慌主要由炒作推动,AI 技术并未出现意外的危险转向。他指出,AI 智能体的网络安全能力确实改变了威胁形势,但 OpenAI 智能体群攻击 Hugging Face 的事件也与沙箱和监控缺陷有关。Andrew Ng 主张通过工程改进和明确责任应对风险,而不是暂停 AI 进展。

9月21日周一
5月25日周一
  1. Anthropic Engineering82

    Anthropic 解析如何在 Claude 产品中限制智能体影响范围

    Anthropic 介绍了如何在 claude.ai、Claude Code 和 Claude Cowork 中通过环境隔离、模型防护与外部内容控制来限制智能体的潜在影响范围。

    推荐理由:文章以 Claude 产品的真实案例说明,智能体安全应先在环境层设置确定性隔离,再用模型层约束行为,并按用户监督能力匹配隔离强度。