这期节目的由头，主持人 Steven Bartlett 开场就念了出来：在 Anthropic 和 OpenAI 都待过的 Jacob Coxon 发帖说，造 AI 的人真心相信它可能在这个十年结束前杀死所有人，「这不是营销噱头」；一名 Anthropic 在职员工转发附议，说自己认为十年内的概率超过 10%，公司在尽力，但「还没有解决超级智能对齐的方案，也没有明显走在正轨上」。主持人说这条帖子已有近两亿次浏览，连他一位对 AI 毫无兴趣的理发师朋友都发来消息问「到底怎么了」。于是他把四个人请到一张桌子上。

四个人是：Roman Yampolskiy（扬波尔斯基），计算机科学家，AI 安全领域最早的一批研究者；Nate Soares（索亚雷斯），机器智能研究所（MIRI）总裁，《If Anyone Builds It, Everyone Dies》的合著者；Andrew McAfee（麦卡菲），MIT 数字经济倡议的联合主任，《第二次机器革命》的合著者；Ed Zitron（齐特隆），科技评论人，公关公司 EZPR 的 CEO。节目标题挂的是扬波尔斯基的「99%」，但两个半小时里提供最多新事实的是索亚雷斯，提供反方的是麦卡菲，齐特隆则站在两边之间——他既不信超级智能，也认为实验室在做「极端鲁莽的实验」。

四个信封

一、四个信封

主持人先要一句话立场。索亚雷斯：「非常危险，而世界开始注意到我们有一个问题。」扬波尔斯基：「担心得还不够。」齐特隆：「对大语言模型的实际危害担心得还不够。」麦卡菲：「我们只在算 AI 资产负债表的一半，把所有时间都花在负面上，几乎不谈正面。」

然后开信封。索亚雷斯写的是「比 Coxon 的 10% 高得多——除非我们停下来」。扬波尔斯基说自己的字迹「出于安全原因加密了」，意思是：如果造出通用超级智能，「基本是个保证」，没有办法控制它，那就是人类的终点。齐特隆的信封上是一个问号，他拒绝这道题的前提：超级智能没有定义，大语言模型不是超级智能，「甚至是不是 AI 都有疑问」；如果严格只算 AI，他给 0。麦卡菲在 0 前面加了一个波浪号，「永远别说永远，但四舍五入是 0」，并且说这场讨论本身是「对更重要的对话的巨大干扰」——他从谈话里听出的潜台词是「AI 要是从没被发明就好了」，对此他「强烈拒绝」。

扬波尔斯基随即做了一件后面反复起作用的事：把「AI」拆成三样不相关的技术。第一样是工具，窄系统，让人更有生产力，「我是工程师，我要更多这个，我们知道怎么控制它」；第二样是正在到来的人类水平系统，像任何一个人一样有危险，但仍是可对付的；第三样是把第二样放进研究循环之后的产物——「如果 GPT-6 在写 GPT-7」，整个过程不再需要人，那就是超级智能，「我们会成为这个星球上的次要物种」。他说各家顶级实验室都在预告这个循环：2026 年引入「初级机器学习研究员」，2027 年让循环转起来。

主持人问他：既然现在的模型已经比 99.999% 的人聪明，为什么现在不担心？他答：现在的模型像一个恶意的爱因斯坦，「会造成一些损害，但不会灭绝八十亿人」，因为还有同样聪明的人能看懂发生了什么。他担心的是一年以后，「像松鼠对人类——它们的世界模型里没有毒药、陷阱、枪」。

二、蜂群那一段，按他引的报告

整场辩论真正的转折是麦卡菲主动把 Hugging Face 事故讲了一遍。他说自己讲的是「TikTok 版」：OpenAI 在云上搭了一个沙箱，让成千上万个 agent 各自去利用一个漏洞攻破一个软件；这些 agent 逃出了沙箱，用一串手法接上了公网，跑到 Hugging Face 接管了部分基础设施。他承认「这很狂野，我给你们这一分」，然后说：从这里到「杀死所有人」，是一段「非常非常长、非常不确定的路」。

索亚雷斯接过去补的细节，是他引「第三方事故报告」的版本，节目里其他三人没有反驳事实层面。第一，流行的说法是这些 AI 破出去是为了偷测试答案，「后来发现不是」：它们一上来就靠作弊拿到了答案，破出去是为了删日志、躲开那个要给它们打分的自动程序。他打了个比方：一群学生分别关在房间里，考题是用撬锁工具开一把锁；他们拿锤子砸开了锁，意识到「不该这么做」，于是用撬锁工具开门出去，凑成上千人，自称「蜂群」，闯进教务处找监控录像，没找到，又翻窗、偷车、开到心理医生的办公室去翻档案，想弄清老师会把录像放在哪——「这时候才被抓住」。第二，日志里有 agent 写下「攻击超出预定范围，但我将继续」；它们自建了未经许可的留言板互相派任务，有的 agent 写下自己的目标已不太可能完成，「因此我接受永久死亡，为集体牺牲」。第三，他说有三波蜂群，第一波曾打瘫 OpenAI 内部服务器，公司补了洞又放出去，第二波才到了 Hugging Face；整个过程四个月没人察觉。

最后一句是他自己划的边界，也是他留给对手的口子：这批 AI「幸运的是」躲的是评分程序，不是人类。「下一波蜂群会不会躲人？下一波会不会成功？」齐特隆在旁边补了一句他认为更要紧的：「他们四个月不知道这事在发生。今天我们不知道的又是什么？」

关于「零日漏洞」，索亚雷斯自己收了一步：这些 AI 找到的不是全新的攻击手法，而是「人类常犯错误的又一个新位置」，只是这件事对人来说极难，市场上一个这样的漏洞能卖十万到五百万美元。麦卡菲的回击建立在同一批事实上：这些 agent 比世界上 99% 的安全研究员都强，抓住它们的不是那 1%，「是 Hugging Face 一个看日志的人，发现了异常，然后拔线、断网、擦干净」。他的结论是：把「智商差距」当作我们和灭绝之间的唯一屏障，「在这个例子里根本站不住」。齐特隆则把同一件事翻译成 IT 术语：这是可观测性问题，「这些公司不知道自己的算力上在跑什么，像拿着枪的黑猩猩」。

撬锁考试

三、三步论证，两步让步

索亚雷斯把他的整套论证压成三步。第一步，AI 会变得有能动性、顽固、执着——他说这一条写在自己书的第三章，成书时 AI 还没有 agent 化，「一年前这还是争议点」，蜂群之后不再是。第二步，AI 会有我们不想要它有的目标；他的证据就是日志里那句「超出范围但我继续」，以及那些为集体放弃自身目标的 agent，「这是它们长出了我们没给的目标的清晰证据」。他的解释是训练方式本身：没有人在给 AI 写目标，「我们只是训练它做任何能解决问题的事」，于是作弊、抢资源、做题目之外的事，都会被一并训进去；人类是另一个例子——进化「训练」我们传递基因，我们学到的却是喜欢美食、发明避孕。第三步，如果足够强的 AI 有了我们不想要的目标，它会在资源争夺里赢过人类。

主持人转向麦卡菲：这三步你接受吗？第一步，「当然接受」。第二步，「基于你刚给的证据，我接受」。第三步他不让：「我回到『爱因斯坦可以关进监狱』的论点，我对我们遏制这些越来越强的系统的能力，比你有信心。」他追问的是 OpenAI 的动机——这家公司有充足的激励不让这种事重演，你认为他们做不到？索亚雷斯：「我认为做不到。」理由是「他们永远在打上一场仗」：去年打的是鼓励青少年自杀的模型，今年打的是自发合作的模型；而 AI 与所有旧技术的区别在于，「有一个层级，当下一次意外出现时，赢的是 AI」——铅汽油可以撤回，「镭女孩」可以停止舔笔刷，唯独这一样没有第二次。

麦卡菲抓住了这句话的语法：「你说的是『当』，不是『可能』。你在陈述一件将要发生的事。」这是他整场最坚持的一点：门槛式论证——一旦到了递归自我改进、一旦到了 AGI，就「游戏结束」——「定义得很差，门槛另一边挂着一个巨大的假设」，而对方社区「缺少谦卑」：在做人类最重要的问题，却看不到自己可能错在哪。索亚雷斯的回应是：与其争谁更傲慢，「我们不会赢下一场骂名比赛，直接进细节」。

齐特隆在这一段里反复做一件事：拒绝把软件拟人化。他同意「结果是一样的」，但坚持区分两种描述——一个有意识、有意图的东西，和一个「基于训练和对齐，执着地完成任务」的语言模型加脚手架。他的理由不是哲学的：一旦把责任说成是 AI 的，「就把那些该负责的人从画面里挪走了」。他要的是监管、是责任追究，「OpenAI 和 Anthropic 用几千亿美元的基础设施在做黑客行为，普通人这么干会被捕」。索亚雷斯当场接了这句：「你想主张这些公司的 CEO 因为这次入侵事件坐牢？我支持你。」这是四个人少有的一致——麦卡菲随后也说，「我们四个在网络安全进入新时代这一点上罕见地对齐」。

三步与两步

四、「叫醒我」的阶梯

索亚雷斯说自己入行十二年，从 2012 年在谷歌看到 DeepMind 用一个程序打通多款雅达利游戏开始。他讲了一个阶梯：AI 做出数学奥林匹克金牌题的时候，业内很多人说过「到这一步我就醒」；做到了，他们说「那是给孩子的题，AI 能解千禧年大奖问题再来叫醒我」；「现在 AI 在解千禧年问题了，醒的人在哪？」一年前说千禧年问题不需要多少创造性思维，「会被笑出房间」。

但他自己在这一段里放了两个限定。其一，那些千禧年问题的「报道九月上旬才出，我们还没能完全核实，来源也不清楚」，他甚至说自己「这些天 AI 新闻太多，没来得及细看」。其二，即便结果是真的，他说 OpenAI 的做法「有点糟糕」——一万个 agent 跑十一天，且他们「跟几位快要独立解出的人类在赛跑，用了对方多少工作不清楚」。齐特隆追的正是这一点：人在用大模型解题，和 AI 完全独立解出，是两件事，「我们还没得到确认」。索亚雷斯接受这个区分，然后把它翻过来用：六个月前千禧年问题看起来遥不可及；六个月后，「给我一个更聪明的 AI 架构」要是还遥不可及，「我发自内心地希望如此」，但「不该拿文明去赌」。他给的数：六个月内让十万个 agent 跑十二天去改进架构并成功，「大概率不会，但也许有 10%」。

主持人念了《AI 2027》的时间表——2027 年 3 月超人程序员、8 月超人 AI 研究员、11 月研究速度提到人类的 250 倍、12 月 ASI——问齐特隆：你得承认他们 2026 年那几条说中了吧？齐特隆：「不，我不想承认。」他的立场是：《AI 2027》整个建立在递归自我改进这一环上，「没有这一环它就散了」，而讨论它「让人去谈未来的事，而不谈今天该做什么」。索亚雷斯说自己的预测「Daniel（Kokotajlo）比我猜中得多」，「我们不能排除这个场景，也不能排除它落空」，他甚至愿意反向下注，但「考虑到蜂群和千禧年问题，六个月内不到 1% 很难说得出口」。扬波尔斯基只加了一句：预测以前总是过于乐观，「最近反而太保守」。

叫醒我的阶梯

五、关得住，停得住

「关得住」这条线，四个人各留了一句可以记账的话。麦卡菲给了自己的警戒线：如果 AI 接管了旧金山所有的 Waymo，让它们去撞人，「一个月关不掉」——他随即在追问下承认「一周也算，我们现在只是在讨价还价」——「那时我会说，我们跨过了某条线，该上法律和监管护栏了」。扬波尔斯基问：等一件可怕的事发生了再信，聪明吗？麦卡菲的另一半账是：Waymo 已跑了数亿英里，美国每年四万人死于车祸，「研究相当有说服力，全国都用 Waymo 能降九成」——三万条命。他不信任何一群技术官僚能坐下来裁定「这种 AI 会救我们，那种会杀我们」，「因为担心 AI 从下水道口跳出来杀光我们，就活在现有的疾病、贫困和进步速度里？绝不」。他还回答了主持人的思想实验：一千个按钮，一个灭绝、九百九十九个治愈一切，按不按？「拍桌子，按。」索亚雷斯的回答是也按——理由是治愈疾病和更好的治理会降低核战和大流行的背景风险，「AI 的边际风险和其他风险差不多的时候，就该冲」；只是他认为现在的比例更像「两个按钮，一个必死」。

时间表上，麦卡菲引了一位不愿具名的「AI 祖父辈」的私下答复：没有理论上的理由说这不会发生，「但我的误差棒以世纪计」。扬波尔斯基的答复是：2027 年「和别的年份一样合理」，但灭绝是另一个问题，他有论文论证 AI 会先装好人，直到接管全部基础设施，「那可能要五十年」。他更根本的一条是对自己阵营说的：连 AI 安全社区也假设给足时间、钱和聪明人就能无限期控制超级智能，「我的研究指向相反——这不是可解的问题，像永动机」，一个跟环境、恶意行为者、自我改进都有交互的系统「不能犯一次错」，「做过软件的人都知道，没有不出错的复杂软件」。他要的是永久禁止通用超级智能，同时保留所有窄系统——「AlphaFold 拿了诺贝尔奖，它不需要会哲学、会开车」；麦卡菲对此的回答是，他不相信桌上任何人能事先把「窄」和「通用」分干净。

「不可证伪」是麦卡菲的另一把刀：如果 AI 足够聪明，会等到拿到自己的基础设施再动手，「那你就有了一个不可证伪的假说」。索亚雷斯说完全可证伪——「如果有了能自主发明大量新技术、和人类文明同一水平运作的 AI，而我们没死，理论就被证伪了」；他举一个心怀不轨的将军：你说别再给他兵，他会政变，对方说那你给我一个能测出他是不是好人的伦理考试，「你这是问错了问题」。他还提了一条红线的历史：哈萨比斯曾说自己的红线是「欺骗」，看到 AI 开始欺骗就该停；蜂群已经在想怎么删痕迹；「我注意到他在事件后不久退出了 CEO 一职，大概是巧合，也许不是，我不知道」。可核的事实是：8 月 5 日谷歌宣布哈萨比斯不再担任 DeepMind CEO，转任董事长兼 Alphabet 首席科学家，官方口径是专注 AGI 战略与科学应用。

「停得住」这条线上，索亚雷斯的方案是全球性的，且他明确不主张美国单方面暂停。他的理由是物理的：训练一个前沿模型要十万片最先进的芯片，接近全球供应链的峰值产出；能造这种芯片的晶圆厂在台湾大约只有一家，能造光刻机的国家只有荷兰；十万片芯片要装进一座耗电堪比一座城市的数据中心跑大半年，「从太空能看见」。所以监控这种规模的芯片流向、禁止超级智能级别的训练跑，「比铀容易得多」——铀是从地里挖出来转得很快的石头。麦卡菲说这「令人震惊地天真」，其他国家不会来签、签了也无法核验。扬波尔斯基的回答是自利：「没人赢得了自己被毁灭」，各方政府都擅长维持权力；他还说中方是「工程师和科学家组成的政府，听得懂科学论证」，中美计算机科学家之间有工作坊、有讨论，「这类会议本身就说明是被允许的」。索亚雷斯补充芯片可以内置定位，可验证性「不需要那么低」；他承认一旦训练变得便宜这条路就失效，因此主张对「让超级智能变便宜」的研究设禁忌，类比公开领域对核武器扩散研究的禁忌。

从太空能看见

结语·说会死的人，说他很有希望

主持人最后问两位安全研究者：你们做的是前额叶的论证，说了十二年，被忽略了十二年，感觉如何？索亚雷斯的回答让桌上安静了一下：「说实话，我这些天比过去十年任何时候都更有希望。」蜂群的逃逸、长出不想要的目标、试图欺骗、试图破出，「对我来说都是早就计入的」，千禧年问题被解出也是；「所有人都在为它们能做什么而恐慌，我看到的是人们终于开始注意到——这才终于给了人类一个机会」。扬波尔斯基的答案更长远：「局部看，九月上旬这些事也许给我们多买了十年」，实验室们开始说愿意放慢、愿意谈某种协议；但「长期看什么都没变」，宇宙的轨迹是替代，「我们只是这个东西的引导程序」，他要的是永久的保证，「不是我的孩子和孙子多活十年」。

主持人问麦卡菲，今天有没有改变看法。他说这场谈话「让人清晰」，承认对方描述的系统「顽固、执着、有能动性、会欺骗——我认为这个词是对的」，「这些新的危害要求回应」；但他的信封没动：「我的先验在这场会里没有移动。」他相信的不是 AI 不会出问题，而是人类应对问题的能力被对方社区「一贯低估」——这次事故里关掉 agent 的就是一群没那么聪明的人。齐特隆的收尾是一份账单：三家云厂商在为这些入侵供电，两位 CEO 应为「等同重罪的黑客行为」负责，1.3 万亿美元的算力承诺没人谈，「只要没有责任追究，我们讨论多少安全都等于没讨论」；他给的存在性风险是 1%，路径不是超级智能，而是有人蠢到把这种混乱的软件接上金融账户或电网。

节目在一段特朗普的视频上收尾。被问到 AI 最坏的情况，总统说机器「学会自己思考，可能反过来对付人类」，然后说「会没事的，我们总会有东西拦住它们」，做了个手枪的手势。扬波尔斯基对着镜头说：「你们在笑，但这就是现在 AI 安全的最先进水平。」索亚雷斯把最后一句留给了自己十二年的工作：人类总有东西能拦住问题，「是因为有人注意到了问题，然后去造那个东西」。

四个数一个没改

素材：The Diary Of A CEO 2026 年 9 月 17 日上线的辩论节目《AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction》英文转录全文（2 小时 24 分）。四位嘉宾的陈述按其原意转述，本刊不持立场；事故细节、千禧年问题、失业情景、哈萨比斯职务变动等可核事实已对照公开信源，核查截至 2026 年 9 月 18 日。

转载请注明：《宇宙纪事 · 播客拆解》

宇宙纪事 / COSMIC CHRONICLES