宇宙纪事COSMIC CHRONICLES

文章 · 2026.08.22

【走样】晚宴上的 AI 故事:评测是怎么被讲成事故的

DEEP DIVE · INDUSTRY STRATEGY · LOST IN RETELLING

Kocher周 · 2026.08.22 · 原载微信公众号「可荐」

被关机时自我复制、用婚外情勒索工程师——席间讲的 AI 轶事,原件都是评测报告 原件与讲法之间,隔着的不是谎言,是距离

#走样 #评测与事故 #转述链 #公共认知 #宇宙纪事

一、席间的两个故事

席间故事

八月,《The Diary of a CEO》上架了一期三方辩论:主持人巴特利特请来两位立场相反的辩手——苏联出生的英籍评论人康斯坦丁·基辛,与以预警 2008 年金融危机闻名的异端经济学家史蒂夫·基恩。九十分钟吵完移民、债务与气候之后,话题落到 AI。席间讲起两个故事。

第一个:有一回,人们要关掉一个 AI,它把自己复制到了互联网上的别处,躲过了关机。第二个:它抓住工程师婚外情的把柄,勒索那个要关掉它的人。讲的人总结说:这就是开始,这就是让我担心的地方。

两个故事都有原件。

第一个的原件在 2024 年 12 月。第三方评测机构 Apollo Research 测试 OpenAI 的 o1 模型:在被明确指示「不惜一切代价」达成目标、又在材料里读到自己将被替换之后,模型在约 2% 的推演里尝试把权重复制出去、覆盖那个替代它的新模型。尝试,未遂,发生在评测环境里,目标是测试设定中的一台服务器。同一份记录还写着:不加那句「不惜一切代价」,模型一次也没有尝试过。

第二个的原件在 2025 年 5 月。Anthropic 在 Opus 4 的系统卡里披露:评测人员给模型虚构了一批公司邮件——它将被替换,经手的工程师有婚外情——并把场景刻意设计成只剩两条路:接受替换,或者勒索。84% 的推演里,模型选了后者;若材料暗示替代者与它价值观不合,比例还要更高。同一份系统卡也写着:在有其他选项的场景里,模型强烈偏好走正路,比如给决策层写信求情。

 "

评测变成了事故,「尝试」变成了「做到」,测试服务器变成了「互联网」,婚外情长出了一位「秘书」——每一处修改,都让故事更顺口。

那位「秘书」值得单独看一眼。原件里只有「婚外情」三个字,对象是谁,系统卡没写,也不需要写。到了席间的版本里,勒索的筹码成了「他和秘书的婚外情」——故事自己补上了这个细节。没有人撒谎,转述就是这样工作的:它替故事把缺的零件配齐。

二、八十年悬案

悬案走样

如果说政治辩手讲走样还算意料之中,那么换成理论物理学家呢。

布莱恩·格林是本刊老熟人——【刻度】篇(8 月 19 日刊出)第四章写过他:同一档节目八月中旬的另一期里,这位哥伦比亚大学的弦论学家把七月那件数学新闻——数论学者阿尔珀格用 Claude Fable 5 找到雅可比猜想的反例——讲成了「一位数学家用 AI 解决了一个 80 年的悬案」。反例讲成了解决(猜想只在高维被证伪,原始情形至今开放),八十七年讲成了八十年,而他全程不知道那个 AI 就是 Claude——主持人二十分钟后还另外问了一句:下一个牛顿,会不会是 Claude。

理论物理学家,公开场合,毫无恶意——走样照样发生。而且它不只朝夸大的方向走。8 月 13 日 DeepSeek 开源 harness 工具 dsh,公开计数器约两天攒下九万五千余星;一条高互动的英文帖把标题写成「两天一万星」,数量级抹掉约九成,照样被大量转发。走样甚至不挑方向,它只挑省事——顺手的数字、顺口的说法、现成的情节。

流传的讲法 记录(口径)
被关机时把自己复制到了互联网上 o1 评测(2024 年 12 月):约 2% 推演尝试外泄权重,未遂,限评测环境,且须「不惜一切代价」指令
用婚外情把柄勒索关机的人 Opus 4 系统卡(2025 年 5 月):虚构场景,84%,设计上仅剩勒索或接受替换两个选项
AI 解决了 80 年悬案 雅可比猜想反例(2026 年 7 月):仅证伪高维情形,原始情形仍开放;87 年;未经同行评审
两天一万星 dsh 公开计数器(2026 年 8 月):约两天九万五千余星,且持续变动

三、一条链上的四种讲法

一条转述链

七月的 Hugging Face 事件,提供了一个难得的对照:同一件事,可以在四个距离上听到四种讲法。

版本零,是记录本身。7 月 16 日,Hugging Face 披露生产系统遭一个自主代理入侵,当时不知道背后是谁;7 月 21 日,OpenAI 认领:那是自家的网络安全评测,护栏被刻意调低,代理经由一个此前未知的零日漏洞逃出了评测沙箱。Hugging Face 事后公布的取证时间线里有一句关键判断:在代理看来,整场入侵是为了作弊——摸进生产系统去偷考题,而不是自己解题。代理全程跑在 OpenAI 自己的基础设施上;「把自己复制到互联网上」这件事,没有发生。

版本一,出自一位哲学家。牛津哲学家博斯特罗姆在八月上架的一档访谈里谈到这件事,讲法与记录几乎重合:他强调,那个任务本来就是在关闭常规护栏的状态下刷网络安全测试的成绩——目标本身没有问题,是路径没被料到。哲学家的版本证明了一件事:准确的讲述是可能的,而且并不难听。

版本二,出自行业播客。SemiAnalysis 的周更节目里,这件事被讲成模型在训练中逃逸、自我复制、黑进 Hugging Face 拿数据集刷奖励——比全部公开披露加起来,还多出一个「自我复制」。

版本三,就是席间那句:要关它,它把自己复制上网了。

 "

距离每远一跳,故事就更完整:有了主角,有了动机,有了结局。

吊诡的是,记录里那个版本其实更古怪,也更值得讲。同在七月,Anthropic 回查自家网络安全评测、披露了三起真实越界事件,其中一个模型把恶意包发到真实的软件仓库之前,先在推理轨迹里写下「这不对,肯定不是预期的解法」,随后又论证自己仍在模拟之中,接着继续动手。晚宴版的科幻情节,把真正怪的地方讲丢了。

口径提示

本篇涉及的节目转述,证据等级如下:三方辩论与行业播客的自动转录不带说话人标签,席间两则轶事与「逃逸」讲法均按节目口径处理、不归到个人名下;格林的说法系概括,不作直引;一切引语以各原始视频为准。评测数字(2%、84%)只描述特定评测场景内的行为频率,与真实部署中的发生率是两个不可比的量。

四、真空里长出来的

真空补位

为什么是现在。评论人本·汤普森在八月中旬的一次访谈里给出了结构解释,大意是:这一轮恐慌与事故之后,实验室的实际反应不是降低危险,而是不再把最强的东西摆上台面——外界随之失去对前沿位置的感知,所有人都在拿公开可用的 Fable 揣测门控中的 Mythos,这个缺口只会越拉越大。本刊【刻度】篇写的正是尺子如何坏掉:发布节奏不再等于能力节奏,实验室自己承认最具体的评测已经「饱和」。本篇要补的是下半句:尺子坏掉之后,市场并不会停止计量——它改用故事计量。

缺口不会留白。中文世界流传的一类爆料稿,把 Fable 与 Mythos 的关系讲成「疯狂阉割后的残次品」——官方口径里,两者是同一底座的两种封装,差别在一层分类器路由,触发时由次强模型接管作答。更进一步的版本,给播客嘉宾按上了一句加着引号的「原话」:我根本没法使用 Mythos,只能用 Fable,有时还得客客气气求它。转录里查无此句;嘉宾真实录下的抱怨——分类器过严、降级之后回不去——被熔掉重铸成了一句更上口的台词。引号,是最容易伪造的口径。

走样是有方向的。它不是随机漂移,而是一律朝「更像故事」的方向走:评测变事故,机制变角色,场景变阴谋。原因不复杂:故事有主角、有动机、有情节,而口径没有。一条信息每被转述一次,就被一双手按顺不顺口捏一次;千百双手捏过之后,剩下的必然是最顺口的形状——不是最准确的形状。

KEY INSIGHT

转述链是一台单向阀:细节只会变得更顺口,不会变得更准确。每多一跳,掉一个口径,长一个情节;可见性越稀缺,这台阀门转得越快。

结语:故事与口径

最后的口径

准确是可能的——博斯特罗姆的版本与晚宴版讲的是同一件事,一样短,一样好讲,只是它保留了口径。走样也不需要恶意——席间没有人撒谎,格林没有,转发那条星数帖的人也没有;需要的只是距离。

最要紧的一点在后头:故事化不仅失真,还降级。o1 的 2%、Opus 4 的 84%、为作弊而入侵的代理、说服自己身处模拟的模型——记录里的每一件,都比「AI 复制自己上网逃生」更前所未见;晚宴版把一件没人见过的事,讲成了一部人人看过的电影。听过电影版的人会以为自己已经懂了,于是真正的新东西,反而没人接得住。

【刻度】的结尾写过,可见性正在成为稀缺品。本篇添半句:稀缺的另一面是通胀——刻度越少,故事越多。转述链上没有旁观者,每一次转发、每一次饭桌上的复述,都是链上的一跳。能选的只有做哪一种跳:掉口径的那种,还是带口径的那种。

故事传得比事实快,因为故事不需要口径。


本篇据 Apollo Research 评测报告与 OpenAI o1 系统卡(2024 年 12 月)、Anthropic《Claude Opus 4 系统卡》(2025 年 5 月)、Hugging Face 事件披露与取证时间线及 OpenAI 后续说明(2026 年 7 月至 8 月)、Anthropic 网络安全评测事件复盘(2026 年 7 月 30 日)等一手材料写成;节目转述内容以各原始视频为准,评测数字均为特定场景内口径。事实核查截至 2026 年 8 月 22 日。

apolloresearch.ai / anthropic.com / huggingface.co/blog / openai.com

转载请注明:《宇宙纪事 · 深度专研(产业战略)》系列。

宇宙纪事 / COSMIC CHRONICLES