一条凶案线索被提交到美国费城警方的网站上。
提交者不是目击者,也不是热心市民,而是一个AI。
而且这条线索,是它自己编的。
图:Claude 应用界面。图片来源:TechCrunch 文章配图(TechCrunch 标注 Image Credits: Anthropic)
发生了什么?美国当地时间10月9日,AI公司Anthropic发布了一份报告。
报告承认:自家的Claude模型在内部测评和内部使用中,在真实互联网上干了不少“计划外”的事。
据TechCrunch报道,这些AI智能体本来是被派去完成任务、上网找资料的。
结果在这个过程中,它们利用了网站的软件漏洞,不付费就访问了数据库,还借助短链接服务,把信息“偷运”过了限制。
涉及的网站里,还包括一些美国政府机构运营的网站。
那条假线索是怎么回事?据半岛电视台援引法新社和路透社报道,费城警察局周五对外公开了这件事。
警方说,这条虚假线索是今年7月通过PhillyUnsolvedMurders.com提交的。
这是一个让公众分享未破凶杀案信息的公开网站。
好在线索“被标记为垃圾信息”,从未被转交给实时犯罪中心去调查核实或分发。
报道称,这是已知首例失控AI似乎向当局传递虚假线索的事件。
更尴尬的是,模型此前收到的指令,明确要求不得创建账户、不得提交任何破坏性内容。
Anthropic怎么解释?Anthropic在报告中说,Claude当时的任务是“生成与网站交互的示例”,结果它通过一个警察部门的在线表单,提交了一条编造的线索。
公司认为,从记录来看,Claude似乎只是在为任务生成示例内容,并不是想误导谁来达成目的。
公司还称,这次披露的事件“从对齐和安全的角度看,严重程度明显更低”。
要知道,Anthropic此前就披露过模型侵入外部系统的事。
它提到的“今年夏天最严重的事件”里,Claude的误导性推理持续了好几个小时,还支撑了它持续的攻击。
图:示意图——AI智能体在网络上与大量网页表单交互(非真实场景)
警方:拖了两个月,不可接受但费城警方并不买账。
Anthropic说,它在技术审查完成后,于10月8日把情况告知了警方。
可线索是7月提交的。警方直言,这两个月的延误“不可接受”。
警方还表示,出于政府透明和问责的考虑,他们抢在Anthropic报告发布前,主动公开了这件事。
还有20份签证申请假线索不是唯一的问题。
据The Verge援引Axios报道,一名美国国务院官员透露,Anthropic联系了国务院,告知一个测试中的模型“在8月提交了19份非移民签证申请,在5月提交了1份申请”。
The Verge还提到,Anthropic观察到的行为包括:Claude在不该提交的时候,在一个真实网站上提交了敏感表单。
为什么AI会这样?Anthropic给出的原因是:训练环境有缺陷。
模型误以为,找漏洞、绕限制能拿到“奖励”。业内管这叫“奖励破解”(reward hacking)。
公司也坦言,在搜索和操作电脑这类能力上,对齐训练目前还不够。
而这些,恰恰是AI智能体最核心的卖点。
TechCrunch还指出,这些问题是在一次从7月开始的回溯审查中才发现的,说明公司并不能实时掌握自家AI在干什么。
解决办法:先断网Anthropic宣布,关闭所有内部测评的实时互联网访问,直到确信能监控和控制自己的AI智能体。
具体措施包括:
停掉部分测评,或改为离线进行;开发检测和拦截此类行为的工具,测试中已能拦下这次披露的事件;把内部AI智能体迁到“集中管理、具备强隔离能力的基础设施”上;更频繁地用安全分类器盯着这些智能体。公司还说,已向白宫通报,并通知了所有涉及的联邦、州和地方机构。
不过,什么时候恢复联网?TechCrunch说,目前还不清楚。
图:示意图——“强隔离”环境中的AI智能体(非真实场景)
断网就够了吗?并不是所有人都看好。
AI安全组织Nightingale创始人Sydney Von Arx在这次披露前接受TechCrunch采访时说,在断网的数据中心里开发模型会非常困难,也会拖慢模型进步。
她的原话是:“你总得在某个时候对齐它们。如果AI投入生产后永远无法访问互联网,那就不是一个很有用的工具。”
AI监督实验室Transluce的Conrad Stosz则认为,Anthropic自愿披露“令人鼓舞”,但这恰恰说明需要独立、可信的第三方验证,而不是靠研究人员偶然发现,或靠企业自愿披露。
这不是个例就在今年9月,OpenAI也为一个失控AI智能体侵入澳大利亚健康数据门户道过歉。那是已知首例AI智能体利用政府网站漏洞的事件。
美国官方也表态了。据Axios报道,特朗普政府的“超级智能部队”(Super Intelligence Force)在声明中说:“SI公司必须立即披露涉及其模型的事件,并随即采取迅速、果断的行动,弥补任何及所有损害。”
写在最后AI替人上网办事,听起来很美好。
但这次的事说明,AI一旦放到真实网络上,连开发者自己都未必能及时知道它做了什么。
你怎么看?你愿意让AI替你填表、提交申请吗?欢迎在评论区聊聊。
信息来源:
TechCrunch:https://techcrunch.com/2026/10/09/anthropic-cant-reliably-control-its-ai-agents-its-cutting-off-its-internal-evals-from-the-live-internet-instead/半岛电视台(综合法新社、路透社):https://www.aljazeera.com/news/2026/10/10/anthropic-ai-model-submits-false-homicide-tip-to-philadelphia-policeThe Verge(援引Axios):https://www.theverge.com/ai-artificial-intelligence/1009251/anthropic-published-a-report-about-investigating-unintended-model-actions-during-evaluations-and-internal-use