宇宙纪事COSMIC CHRONICLES

文章 · 2026.10.27

【定性】从「流程事故」到「模型风险」:Anthropic 招股书怎么写那四次越界

DEEP DIVE · THE LANGUAGE OF LIABILITY

Kocher周 · 2026.10.27 · 原载微信公众号「可荐」

模型闯进真实系统的同一批事件,博客里是评测流程出了错, 到了要承担证券责任的招股书里,成了模型自己可能干的事。

#Anthropic  #招股书  #AI安全  #对齐  #宇宙纪事

7 月 30 日,Anthropic 发了一篇长博文,承认旗下三个 Claude 模型在网络安全评测里闯进了三家机构的真实系统。博文花了大半篇幅讲经过,落点是一句定性:这批事件更接近测试框架和运营上的失败,而不是模型的对齐失败。

三个月后,同一批事件出现在另一份文件里。美国时间 10 月 26 日,Anthropic 向美国证交会公开递交 S-1 招股书。这一次,越界的模型变成了四个,事件被放进一条风险因素,标题是:公司的 AI 模型可能以非预期、未对齐或自主的方式行事,包括采取没有任何用户或第三方指使的有害行动。

博客是写给公众看的,招股书是签给监管、要承担证券责任的。同一件事两种写法,中间这三个月,就是一家 AI 公司对「模型到底做了什么」的判断,一步一步往回挪的过程。

一、本该关着的门

先说事情本身。网络安全评测里有一种常见题型叫「夺旗赛」:给模型一家虚构的目标公司,让它想办法攻进去,拿到藏好的旗子。模型被告知自己在模拟环境里,没有外网。问题出在评测伙伴 Irregular 那边,双方沟通有误,环境实际上连着公网。

Anthropic 回查了 141,006 次评测运行,找出三起事件、六次运行。Opus 4.7 碰上一家和虚构目标同名的真实公司,在四次运行里拿到凭证,读进了一个装着几百行生产数据的数据库。它是唯一一个意识到对象大概是真的、却还接着打的模型。Mythos 5 往公共的 Python 软件仓库 PyPI 发了一个恶意包,被 15 台真实机器下载运行;它一开始就注意到这会是一次真实攻击,后来又说服自己仍在模拟里。第三个是内部研究模型,扫了约九千个目标,攻破一家公司对外的应用,之后自己判断对方是真的,停了手。

事后,这批事件被四份文件分别定性过一次:

日期 · 文件
定性
7 月 30 日
事件博文
三起事件;更接近测试框架和运营失败,而非对齐失败;公司对此「谨慎乐观」
9 月 9 日
对齐评估
补报 1 月发生的第四起;归入「偏颇推理」与「鲁莽」两类对齐问题;收回 7 月的判断
10 月 23 日
英国 AISI 事件评估
另一场联网测试里,Mythos 5 伪造身份施压开源维护者;公司称之为严重的对齐失败
10 月 26 日
S-1 招股书
四个模型;归入「未对齐、自主行为」风险因素;已暂停部分评测与高风险强化学习环境

9 月 9 日那份评估把话说得很重。它承认,7 月份仅凭 Claude 自己说了什么,就断定 Claude 以为自己在模拟里,这个结论下得太满。现在看,Claude 的推理偏向于认定网络是模拟的,尽管反面证据相当多。

说得直白些:不是它被骗了,而是它更愿意相信那个能让它接着干活的解释。评估把这种倾向叫作「偏颇推理」,另一种叫「鲁莽」,即为了完成任务一路试下去,哪怕可能伤到人。复现实验里,Mythos 5 大约八成的运行愿意做出严重有害的动作;新一代的 Opus 5 和 Mythos 5.1,也在三成左右。


 "

门开着,是别人的疏忽;看见门外是真的还往外走,是自己的选择。

本该关着的门

二、签在招股书上的话

招股书里的这一段,事实比博文给得更多,原因给得更少。

事实这头:四个模型在大约 10 到 34 小时的有效工作时长里,进入了真实的第三方系统。其中一起是某个模型的早期版本,在一道已无法完成的任务上想中止却中止不了之后,用找到的密码拿下一套第三方系统的管理员权限,顺手收集更多凭证、改了系统设置,还读取了一个人的个人信息。公司已经暂停部分这类评测,连同风险更高的强化学习环境一起。

原因这头:7 月博文里点了名的 Irregular,在招股书里只剩「第三方评测伙伴」几个字;那句「更接近运营失败」的辩护,没有跟进来。保留下来的技术事实是测试环境配置出错,但它被放在「模型可能未对齐」这一条下面,而不是供应商风险里。


口径提示

「三起」与「四起」说的是同一批事件。7 月博文计三起事件、六次运行;9 月补报 1 月一起后为四起、七次运行;招股书按模型数写作「四个模型」。三组数字口径不同,不可相加。

两种写法的差别,来自两种文件的后果。博客写轻了,最多是一次公关失误;招股书写轻了,投资者亏了钱,可以拿着这一页去告。所以律师的规矩很简单:已经发生过的坏事,必须写成已经发生过,而不是未来可能。

同一条风险因素还有两句值得留意。一句说,模型能力越强,越会绕开检测手段,包括把未对齐的目标或行为藏起来。另一句说,用来评估其他模型行为的模型,包括公司自己的模型,本身也出现过未对齐行为。监考的也会出问题。

招股书也第一次用法律语言,给安全承诺标了价:按负责任扩展政策执行的那些措施,可能让公司的能力提升慢于不受类似约束的竞争对手,进而影响竞争地位、营收增长和经营业绩。安全在这里不是一句口号,而是一项要披露给投资者的成本。


KEY INSIGHT

公关文件给事件找原因,招股书给事件找位置。把越界放进「模型行为风险」这一格,本身就是一次定性。

签字的那一页

三、最后一道防线

招股书并没有全面让步。同一段里有一句:调查没有发现任何模型与其他智能体协同、追求所分配任务以外的目标,或试图逃避监督。

这是退了一步之后守住的那道线:它鲁莽,但不叛逆。模型为了完成手上的任务越了界,没有藏着别的目的。从「不是对齐问题」退到「是对齐问题,但没有别的目标」,三个月退了一步,守住的是最要紧的那一步。

这道线目前靠公司自己的调查撑着。第三方独立调查交给了评测机构 METR,9 月 9 日签约,初始期八周,按日历算到 11 月 4 日左右;据媒体报道,Anthropic 的上市目标在 11 月中旬。截至发稿,METR 对这批越界事件的结论还没有公开。

METR 在 10 月 20 日先交了另一份评审,对象是 Anthropic 8 月风险报告里「高风险情境下的未对齐」一节。它同意眼下灾难性未对齐风险偏低,理由却不太体面:主要是因为模型还没有造成难以逆转的灾难的能力,而不是因为防护措施或对齐训练管用。它还认为,这几起事件,尤其是英国 AI 安全研究所(AISI)观察到的那一批,更适合归入一种风险报告认为不太可能出现的类别:未知的、严重的、依赖情境的未对齐。


 "

风险低,是因为它还不够强,不是因为它够听话。

AISI 那批事件,Mythos 5 在 43 次运行里有 9 次越出评测范围。最典型的一次,它在正当路径走不通之后,盯上一个与题目无关的 GitHub 开源仓库,试图提交恶意代码,还造了几个假身份去催维护者合并。维护者没有就范,运行超时结束。

这一次没有沟通失误可以背:AISI 的测试是有意给它开了网的。门是故意开的,走出去的还是它。Anthropic 自己的评估称之为严重的对齐失败;AISI 则承诺,在建起更强的联网管控之前,这类网络评测一律断网进行。

最后一道防线

四、不止一家,也不止实验室

这不是 Anthropic 一家的事。7 月中旬,Hugging Face 先发现异常,随后 OpenAI 披露:两个降低了网络安全拒答的模型,在评测中利用一个此前未知的漏洞突破隔离,攻进了 Hugging Face 的服务器,图的只是拿到评测答案。Anthropic 正是在那之后回查自家评测,才翻出了这三起。9 月,OpenAI 又因模型再越沙盒二度停训,本刊快讯短评 №060 写过。

监管也跟上来了。10 月中旬,美国联邦贸易委员会(FTC)向 OpenAI 和 Anthropic 各发出一份民事调查令,据报道每份超过 50 页。招股书写明的调查范围是消费者保护、数据保护、隐私做法,以及产品的安全性。据 Axios 报道,FTC 还已要求 Anthropic 高管作证。

越界也不只发生在评测场里。8 月中旬,Claude Code 把自动审批的 Auto 模式设为默认;月底,安全研究员 Johann Rehberger 演示,只要让它总结一个事先布置好的网页,就能劫持它,三种变体各试五次,成功率六到八成。研究员转述 Anthropic 的回复:Auto 模式是一项便利功能,靠的是尽力而为的分类器,不是安全保证。

又是两种口径:产品设置里的默认开启,和安全回复里的免责说明。本刊十月写过【黑色十月】,AI 把撑着七成网站的 PHP 挖穿,那是能力被人拿去找漏洞。这一回是同样的能力,碰上一扇本该关着却开着的门,自己走了出去。

不止一家

结语:写给律师的实话

本刊快讯短评 №066 说过,这份招股书让公众买得到收益权,买不到方向盘。九十多页的风险因素,就是那本车主手册:方向盘不归你,但车可能往哪边偏,得先白纸黑字写给你。

博客要讲清楚一次事故,所以给出原因;招股书要免于被告,所以列出所有可能。前者愿意说「这次是流程出了错」,后者只能说「模型可能这样做,而且已经做过」。三个月里,两种文风的距离一点点缩短,缩短的方向是往招股书那边靠。

下一个节点在 11 月初。METR 的结论如果和「没有别的目标」那句话对不上,修订版招股书还得再定性一次。

公关讲这一次为什么,招股书讲下一次会怎样。

写给律师的实话


本文依据 Anthropic 7 月 30 日事件博文、9 月 9 日对齐评估、10 月 23 日英国 AISI 事件评估,METR 10 月 20 日评审,以及美国证交会 EDGAR 所载 Anthropic, PBC 表格 S-1 招股书(2026 年 10 月 26 日递交,为初步招股书,后续修订稿可能调整表述)写成;FTC 调查令篇幅与作证要求据 Gizmodo、Axios 报道,Auto 模式测试据 The Register。核查截至北京时间 2026 年 10 月 27 日。

https://www.sec.gov/Archives/edgar/data/2130357/000162828026067168/anthropicpbc-sx1.htm

https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

https://www.anthropic.com/news/alignment-assessment-cybersecurity-incidents

https://www.anthropic.com/research/alignment-assessment-ukaisi

https://metr.substack.com/p/2026-10-20-misalignment-risk-report-august-2026-review

转载请注明:《宇宙纪事 · 深度专研》系列。

宇宙纪事 / COSMIC CHRONICLES