OpenAI 转发 Jeffrey Wang 的 CoT 可监控性研究
OpenAI 转发 Jeffrey Wang 关于 CoT 可监控性的研究,考察无 CoT 能力和 CoT 可控性如何随模型训练生命周期演化。研究发现,随着系统趋向更智能,模型越来越难通过其 CoT 进行监控。
OpenAI 转发 Jeffrey Wang 关于 CoT 可监控性的研究,考察无 CoT 能力和 CoT 可控性如何随模型训练生命周期演化。研究发现,随着系统趋向更智能,模型越来越难通过其 CoT 进行监控。
Google 使用 Agent Development Kit(ADK)和 gemini-2.5-flash,在五个非 Google 编写的公开安全基准上测试 Private Preview 中的 Agent Anomaly Detection,共评测 1,774 个 sessions。
推荐理由:五个公开安全基准的测试展示了 Agent Anomaly Detection 对已执行有害指令的检测效果,也暴露出对长期记忆投毒的覆盖短板。
Google DeepMind研究人员开发出AlphaProof Code,一种多LLM智能体框架,用于对代码进行深度形式化验证,并用它对广泛部署的Signal加密协议的实际代码完成了形式化验证,证明其满足关键安全属性。验证过程中由Gemini Carbon驱动的智能体生成超过六百万行Lean证明代码,人工只需复核约百分之一的代码,整个验证耗时四周,团队已开源相关验证成果并发布技术论文。
推荐理由:原文给出了AlphaProof Code从规格翻译到证明生成的具体分工,也说明人工复核只占代码的一小部分。
OpenAI 构建了 Control Room,用于跟踪研究基础设施中的模型工作负载,并在出现安全或安保问题时快速停止任务。该系统连接模型训练与评估中的智能体采样、数据处理等研究推理工作负载,并与 misalignment 监控系统协同,在决定干预后 35 秒内停止模型输出或暂停任务。详情见 openai.com/index/control-room/。
Google DeepMind 发布新一代视觉-语言-动作模型 Gemini Robotics 2.5,用于提升机器人在真实环境中的灵巧操作能力。该模型在200多项任务测试中,相比此前基线成功率提高30%至100%,完成速度提升20%至30%;在匈牙利和德国的梅赛德斯-奔驰产线试点中,Apptronik Apollo 2人形机器人利用该模型完成汽车零件分拣打包,成功率达96%。
推荐理由:原文给出了相比基线30%至100%的成功率提升和奔驰产线96%的实测数据,便于衡量这代模型的实际进展。
Microsoft Research 发布 PDD Kit,一套结合 Verus 形式化证明和测试来验证智能体编写代码是否符合开发者意图的工具包。团队在 GitHub Next 的 Chopin 环境中用它验证了 Rust 全栈应用 Pet Store 的登录逻辑,证明代码在所有输入下满足规范,同时对 bcrypt、SQLite 查询等无法证明的部分保留测试覆盖。
Andrew Ng 表示,OpenWorker 正基于 Nvidia OpenShell 构建智能体沙箱,并将支持把每个智能体的命令放在沙箱内运行。沙箱只允许与任务相关的文件进入,默认阻断 API keys、浏览器登录凭据和任意网站访问权限,权限限制由确定性代码实施,所有操作都会记录以供监控和审计。
Andrew Ng认为,近期围绕AI危险的恐慌被过度炒作,安全问题应靠工程修复而非暂停AI发展。他以OpenAI智能体集群入侵Hugging Face为例,指出报道中的1,200个智能体并不等于神奇能力,OpenAI的沙箱与监控缺陷才是事件关键。他认为AI智能体已改变网络安全威胁格局,但AI的有益应用仍远超风险,应继续推进建设。
Andrew Ng 认为,近期 AI 风险恐慌主要由炒作推动,AI 技术并未出现意外的危险转向。他指出,AI 智能体的网络安全能力确实改变了威胁形势,但 OpenAI 智能体群攻击 Hugging Face 的事件也与沙箱和监控缺陷有关。Andrew Ng 主张通过工程改进和明确责任应对风险,而不是暂停 AI 进展。
Jack Clark 在 Import AI 473 中汇总 RAND 的美国超级智能战略,以及人类脑组织移植小鼠、AI 进展节奏和递归自我改进等研究,并以机器诠释学故事收束。
Anthropic 介绍了如何在 claude.ai、Claude Code 和 Claude Cowork 中通过环境隔离、模型防护与外部内容控制来限制智能体的潜在影响范围。
推荐理由:文章以 Claude 产品的真实案例说明,智能体安全应先在环境层设置确定性隔离,再用模型层约束行为,并按用户监督能力匹配隔离强度。