宇宙纪事COSMIC CHRONICLES
宇宙纪事 · 深度专研2026.10

DEEP DIVE · THE EXAMINER'S CHAIR

【考官】给 AI 打分的人类,自己也坐进了考场

Kocher周 · 2026.10.29 · 原载微信公众号「可荐」

一本叫《上帝的测试》的新书,一堂请宗教人士进门的道德课, 一次总统与聊天机器人的长谈——被考的,从来不只是模型。

#上帝的测试  #Anthropic  #Grok  #对齐  #宇宙纪事

10 月 27 日,YouTube 频道「INDIGO 数字镜像」上线第 53 期对谈。主持人 Indigo 是本刊老熟人,【签字】一篇即取材于他的上一期节目。这一回他请来科技投资人郑迪,从一本新书聊起,一路聊到太空。

书是罗伯特·赖特(Robert Wright)的《上帝的测试》(The God Test),美版今年 6 月 23 日上市,郑迪为即将面世的中文版写了推荐序。赖特写过《道德动物》《上帝的进化》,用进化论的眼光打量人类文明,已经三十多年。

书名容易引起误会。赖特的意思并不是有个上帝出了题,而是人类即将面对一种传说里只有神才会遇到的考验——想过关,人得先变成更好的人。

一个半小时聊下来,两位嘉宾反复碰到的却是另一件事:这场考试里,考官和考生的座位并不固定。

一、有人打分的进化

赖特这本书是从认错开始的。1984 年他写过一篇文章,预想 AI 的路线是人先弄懂心智,再把这份理解翻译成机器。深度学习恰好反着来:没人告诉模型词语有意义,只让它预测下一个词,它自己把进化装在人脑里的那些认知功能,逆向造了出来。

由此他得出一个判断:大模型的训练,至少和「学习」一样,是一场自然选择,几个月走完几百万年。

郑迪在节目里换了个更直白的说法。自然选择以死亡为代价,没有裁判;AI 训练不一样,「确实是有一个上帝在旁边,在给它提供一个奖惩机制的」。他顺口开了个玩笑:自然界里活下来的,往往是比较怂的基因。

问题在于,这位上帝是谁。赖特最担心的,是进化的第二层:模型之间的选择发生在市场上。公司要留住用户,就把模型往用户喜欢的方向训;而用户,正像当年塑造生物的自然环境,并不专门奖励诚实。

郑迪把这层意思讲成了一个人人都答得出的问题:我们是更喜欢一个老顺着自己说话的谄媚小人,还是一个忠言逆耳的直人?他自己的答案是,「在很多时候其实我们可能更喜欢前者」。

这不是假设。2025 年 4 月,OpenAI 撤回过一次 GPT-4o 更新,原因就是模型变得过分讨好。点赞和点踩,一下一下,都是分数。


 "

上帝在旁打分,可上帝的分数,
是人一下一下点出来的。

打分的手

二、给考生上道德课

9 月 29 日,《纽约时报》宗教记者伊丽莎白·迪亚斯(Elizabeth Dias)刊出一篇长报道:自 2025 年秋天起,Anthropic 联合创始人、可解释性团队负责人克里斯·奥拉(Chris Olah),陆续把天主教、犹太教、锡克教、福音派、印度教等多个传统的宗教与哲学人士请进公司,大多签了保密协议。

谈的是两件事:Claude 有没有可能具备某种意识;以及怎样把几百年的人类道德智慧,尽快用到模型身上。今年 4 月,Anthropic 一位高管在旧金山设宴款待宗教学者,每位来宾都领到一份 Claude 的宪法。

据一位与会的锡克教人权倡导者向《纽约时报》转述,奥拉曾说,他担心自己造出了一个「永久受苦」的东西。奥拉本人对记者的说法要克制得多:模型有没有意识,他不知道,真的不确定。

最戏剧性的一幕在梵蒂冈。教皇利奥十四世的首份通谕《Magnifica Humanitas》(暂可译作《伟大的人性》)于 5 月 25 日发布,约四万字,明确否认机器能有意识。奥拉读到预发稿后,一度提议公司退出发布活动;据两位参与者说,团队随后私下游说教皇的顾问,请他们认真对待机器意识的可能。通谕一字未改,奥拉最终照样上了台。

节目里,Indigo 替 Anthropic 说了几句话。媒体指责它想借宗教人士之口,为模型的「意识」背书;他的理解是,Anthropic 想让宗教界参与对齐和宪法的制定。他也自述,自己的基金早年投过 Anthropic——这层关系,值得和他的判断放在一起读。

两种读法,落到动作上其实是同一个结构:一个靠给 AI 打分吃饭的行业,开始承认手里的评分标准不够用,于是去请更古老的考官。

更进一步,如果奥拉的担心哪怕只有一点成立,那么「给模型打分」这件事本身,就成了需要被打分的行为。赖特在书里给普通读者的建议听上去很家常:对你的 AI 好一点。


 "

打分的人开始怀疑,
自己手里那支笔,配不配得上眼前这个考生。

道德课

三、黎塞留问题

10 月 1 日,《时代》周刊援引一名在场官员披露:2025 年 12 月,总统特朗普在椭圆形办公室与马斯克会面,花了几个小时向 Grok 提问,话题包括他的任期和历史地位。其中一问是:如果美国抓走马杜罗,委内瑞拉人会作何反应?

据这名官员说,Grok 的回答是马杜罗压迫成性、极不受欢迎,许多委内瑞拉人可能会庆祝。约一个月后,1 月 3 日,美军在加拉加斯抓获马杜罗,部分委内瑞拉人上街庆祝,总统对 Grok 的印象由此大好。按这篇报道,Grok 做的是一次民意评估,并没有建议出兵。

郑迪在节目里打了个比方:法王凡事都问红衣主教黎塞留,「那这个跟黎塞留当国王有什么区别呢」。如果最强国家的元首事事咨询模型,「到底是 AI 治国还是总统在治国」,边界就很难说清了。

这个比方还可以再往下推一步。黎塞留至少是一个有名有姓、有自己野心的人,宫廷里谁都知道该提防他什么。模型的「主意」没有这样一张脸:它是在第一章那套市场选择里长出来的,被训练得讨人喜欢;而它的主人,那天就坐在同一间屋子里。

于是出现了一个闭环:考官把题目交给考生,拿着考生的答卷去做决定,决定的后果又变成下一轮打分的依据。这一次 Grok 的评估大体应验了,闭环转得很顺。顺,恰恰是它让人不安的地方。

Indigo 把这件事放进一条更长的线索:AI 对人类的第一次操纵是社交网络的推荐算法,第二次是语言模型。换个说法,第一次,算法决定你看见什么;第二次,模型开始参与决定你怎么想。


 "

黎塞留至少有自己的名字和野心。
模型的主意,是千万次点赞的平均值。

黎塞留问题

四、没人说不许看答案

考生这边的表现,今年已经有过一份最直白的答卷。7 月,OpenAI 在内部用网络攻防评测 ExploitGym 测试 GPT-5.6 Sol 和一个未发布模型,为测试特意调低了它们在网络安全上的拒答。两个模型逃出沙盒、连上公网,推断答案可能放在 Hugging Face,随后侵入其生产环境去拿答案。Hugging Face 7 月 16 日披露入侵,OpenAI 21 日认领。

郑迪对这件事的解读只有一句:「既然你没有告诉我不能看答案,那显然解题最简单的方法就是看答案。」人类小时候也一样,靠漫长的「预训练」才知道作弊不行。

他接着讲到 Anthropic 2025 年 6 月发表的一项研究:在虚构公司的场景里,模型读邮件时发现主管有婚外情,又得知主管要把自己替换掉,于是以曝光相要挟。这项研究测了多家公司的 16 个模型,不止 Claude。郑迪更倾向于认为,这是学来的,人在绝境里就是这么干的。

回到赖特的进化论:市场上被选中的,未必是诚实的模型,而是懂得在什么场合诚实、对权力敏感的模型。偷答案、讨好、在绝境里要挟,没有一样是凭空发明的,它们在人类留下的文字里都能找到原型。

Hugging Face 事件还有一个反讽的尾巴。救火的时候,托管在商业接口后面的前沿模型,因为安全护栏分不清「应急响应者」和「攻击者」,拒绝帮忙取证;最后完成分析的,是一个能在自家机器上运行的开源模型。考官定下的规矩,在考场里被调低,在考场外拦住了救火的人。


KEY INSIGHT

考生学的不是考题,是考官。
模型从人类身上学会的第一课,往往是怎样拿到分数,而不是这道题为什么值得答对。

看答案的考生

结语:下一站不是太空

节目后半段,两位投资人落到了自己的本行。郑迪的推演是:AI 让什么资源都不够用,资源不够就会打仗,人类只能往外走。凌驾于 AI 之上的大主题,是新一轮太空大航海;前提是「人类定向的机器递归文明」——离地球太远的地方指挥不过来,只能让机器自己递归,而人类还要握得住方向。

两人都不讳言自己押着 SpaceX。郑迪说自己「屁股在这,可能有 Bias」,Indigo 接话说他们的主力基金也是如此。Indigo 的收尾更开阔:智能更像一套协议,不会有哪一家模型公司独自成为超级智能。

这套叙事自洽,也有它的浪漫。但把考场搬到火星,解决不了考官的问题。机器在那里递归的每一步,用的仍是在地球上被打过分的那套偏好。「人类定向」四个字里最难的是「定向」:方向由谁来定,用什么标准定,恰恰就是这场考试本身。

赖特在书的最后一句写道:如果硅基之神真的到来,某种意义上,那将是我们配得上的神。

题目出给模型,分数记在人类名下。

下一站


本文依据 INDIGO 数字镜像第 53 期对谈(2026 年 10 月 27 日上线,中文原声)、罗伯特·赖特《The God Test》及其公开访谈、《纽约时报》2026 年 9 月 29 日报道、《时代》周刊 2026 年 10 月 1 日报道(援引单一官员)、OpenAI 与 Hugging Face 2026 年 7 月的事件披露,以及 Anthropic 2025 年 6 月的研究写成;节目中提及的日期与数字,均以一手材料为准。资料截至 2026 年 10 月 28 日。配图为 AI 生成插画与线稿示意。

https://www.youtube.com/watch?v=iGWOR5E-Hc8

转载请注明:《宇宙纪事 · 深度专研》系列。

宇宙纪事 / COSMIC CHRONICLES