本文来自微信公众号: 动察Beating ,作者:Sleepy,头图来自:AI生成
那时候有伟人在地上,后来神的儿子们和人的女子们交合生子;那就是上古英武有名的人。
/《创世记》6章4节
北京时间11月19日晚上10点半,Anthropic在纳斯达克敲钟。
镜头里站着八个人,身上别着像素螃蟹吉祥物Clawd的徽章。Dario Amodei低头念完一张讲稿,宣称公司“不会向商业或政治压力低头”。钟声落定,他举起双手,掌心朝上笑了起来,身旁的人一齐鼓掌。
视频传到社交媒体上,评论区反复冒出同一个词,伪人。笑不像笑,鼓掌不像鼓掌,连站在台上的姿态都透着一股说不清的别扭。
伪人原本是恐怖故事里的概念。2021年,一位美国年轻人在网上连载模拟恐怖短片,片中有一种生物,长相与人类毫无二致,会悄无声息地顶替你身边的人,只在极细微处露出破绽。
伪人最让人发毛的地方,在于它差一点就像真的一样了。
Anthropic,词根恰恰意为“与人类有关的”。它最大的生意,是造出一个越来越像人的东西,再耗费无数心力去探究这个造物有没有知觉、会不会撒谎、懂不懂疼痛。至于造它的那几个人,他们身上的谜团,并不比他们造出的机器少。
权重
因为神知道,你们吃的日子眼睛就明亮了,你们便如神能知道善恶。
/《创世记》3章5节
招股书深处藏着一项安排。Anthropic仅发行了一股Class F普通股,注入名为Founder LLC的实体,独自锁定全部表决权的50.1%。执掌这一股的是七个人,Dario Amodei、Daniela Amodei、Tom Brown、Jack Clark、Jared Kaplan、Sam McCandlish与Christopher Olah。
七人之中,最早被预言会出人头地的,是Dario。
1997年,旧金山一所另类学校的毕业纪念册上,八年级的Dario和另一名同学被评为“最有可能成功的人”。照片里,两个男孩手里各捏着几张美钞,像是提前领到了未来。
他在满墙壁画的Mission区长大。父亲Riccardo是从托斯卡纳移居美国的皮匠,一辈子和兽皮、针线打交道;母亲则负责公共图书馆的翻修工程。
Dario很早就习惯把世界当成一道待解的题,高中便跑去伯克利修课,琢磨功利主义,为千年虫危机忧心忡忡。2003年,还在加州理工读大二的他在校报上撰文,批评同学们对迫在眉睫的伊拉克战争漠不关心,号召大家走上街头,“我们绝不能让自己沦为没有道德的技术员,像做计算一样漫不经心地操作战争机器”。
2006年,他从斯坦福物理系毕业。同一年,父亲死于丙型肝炎。仅仅几年之后,一款新药问世,大多数丙肝患者自此得以痊愈。
药来晚了几年。这几年,成了他往后一生的刻度。
他转去普林斯顿攻读生物物理,在视网膜实验室里观察大群神经元如何自发涌现出整体行为。也是在那里,Ray Kurzweil的《奇点临近》让他着了魔。2007年,高中好友Colin Heckman去普林斯顿看他,他一边用手指绞着头发,一边预言奇点将在2040年前降临,“我们终将变成新的超级智能AI,或者AI与人的混合体”。2014年,这位研究过癌细胞的博士后自己被确诊睾丸癌,历经化疗才得以痊愈。
三十岁出头,他已经两次与死亡迎面相撞。他给自己开出的药方,是将世间万物统统化作可计算的筹码。
2010年,他在慈善评估机构GiveWell网站上撰文探讨手头一万美元该如何捐出,文中冷峻地推演,“一个成年人的死亡,大概比一个婴儿的死亡糟糕两到三倍”。他吃素,却觉得吃螃蟹无妨,理由是螃蟹属于无脊椎动物。他和朋友在寿司店争辩功利主义,承认只要鸡的数量足够庞大,其道德分量终会超过一个活生生的人。
皮匠用手丈量一张兽皮,裁开,再缝合。皮匠的儿子丈量的是死亡。
这把尺子后来一直跟着他。2025年7月,他在发给员工的内部Slack消息里坦言公司将寻求阿联酋与卡塔尔的投资,承认这可能让“独裁者”受益,紧接着便写道,“『不能让任何坏人从我们的成功中获益』,是一条很难用来经营企业的原则”。
在他自己的估算里,AI把事情搞得“非常非常糟”的概率大约是25%。去年11月,《60分钟》的主持人当面追问,是谁选了你和Sam Altman来做这些决定,他答道,“没有人。说实话,没有人。”
他长期失眠,自称“在每一个尺度上都偏执”,对社交媒体怀有生理性的厌恶。他的办公室里摆着一本《原子弹秘史》。漫长历史中他最认同的人物是Leo Szilard,那位最早构想出核链式反应、后来又联名反对向日本投掷原子弹的物理学家;至于奥本海默,在他眼里不过是一个“失败的案例”。
《纽约时报》作者Jasmine Sun形容他“似乎不愿意屈居第二”,习惯把OpenAI和中国当成竞争叙事里的妖怪;有前员工透露,他私下谈论过Anthropic朝一日或许会“比政府还强大”;而在大投资人眼中,他“更像一个宗教领袖,而不是一个CEO”。白宫几名官员私下对Axios记者透露,在特朗普看来,“Dario有点太怪了”。
他和妻子在意大利合养了一匹名叫Calypso的马。有时候他就那样静静地盯着那匹马看,心里想的是,“它对这一切一无所知,它只是一匹快乐的马”。
头套
都是一对一对的,有公有母,到挪亚那里进入方舟,正如神所吩咐挪亚的。
/《创世记》7章9节
比他小几岁的妹妹Daniela,走的是另一条路。
哥哥用数学拆解世界,妹妹则活在修辞与故事里。Daniela拿过古典长笛奖学金,大学读的是文学。回忆起2009年刚毕业时的心境,她说,“我有一个文学学位,没有任何技能,谁会雇我?”
毕业后,她先在马里兰和乌干达从事国际发展与全球卫生工作,又投身宾州民主党人Matt Cartwright的国会竞选、进入国会山,辗转数年。2013年,她加入支付公司Stripe,随后转入风险控制部门,每天的日常,就是揣摩最坏的人会干出什么事。
兄妹俩从小吵到大。“我以前老偷他的玩具,”Daniela回忆,“Dario和我吵架又和好,已经快40年了。”而在哥哥的播客叙述里,他们兄妹二人“一直想一起拯救世界”。
拯救世界需要同路人。兄妹俩的班底,大多走出自旧金山的一栋群居屋。最早住进那栋房子的是Holden Karnofsky和当时的女友Daniela,Dario随后也搬了进来,先后在此同住的,还有Jared Kaplan、Chris Olah,以及OpenAI研究员Paul Christiano。
Holden执掌的Open Philanthropy是有效利他主义运动中最大的金主之一,这群人笃信,行善完全可以像风险投资一样精密计算回报率。
在这群人里,Chris Olah走进这栋房子的路径最曲折。童年时他饱受霸凌,老师断言他“能读完高中就算走运”,可他六岁便自己琢磨出一套黑洞理论。他四岁吃素,后来转为纯素食者;在多伦多的福音派基督教家庭长大,十五岁那年彻底倒向无神论。
2010年多伦多G20峰会期间,他在黑客空间HackLab结识的Byron Sonne因被控持有爆炸物而卷入恐怖主义案件,两人其实算不上熟。“我为他害怕,为我自己害怕,为我所有的朋友害怕,”Olah后来回忆,“我从大学休学了一年,好全职去他的庭审现场。”休学那年,他十八岁。
他的GitHub主页至今保留着一个名为ByronTrialNotes的代码仓库,里面塞满了当年记下的庭审笔记,并在说明栏里写着自己“偏向Byron”。朋友最终获判无罪。就在法庭宣判无罪的那一刻,Olah的脑海里跳出了另一个念头,“我注意到,深度学习将会影响社会。”
他再也没有回学校读完本科。2012年,十九岁的Olah拿到Peter Thiel专为辍学青年设立的奖学金,他的部分数学课,还是Dario亲自辅导的。
2017年,Open Philanthropy向OpenAI捐赠3000万美元,经由Dario牵线,Holden顺理成章地坐进了OpenAI董事会。那份资助说明末尾附有一段利益冲突披露,大意是Dario与另一名研究员均为基金会技术顾问,且与Holden住同一屋檐下,而Holden此时已与Dario的妹妹订婚。
一笔巨额捐款,一个董事席位,一栋合租屋,一桩婚约。
求婚那天,Holden送给Daniela一只U盘,里面装着一部长片长度的毛绒玩具电影。Daniela后来还组建了一个“私人顾问委员会”,委员清一色是她收藏的毛绒玩偶。
Kevin Roose在新书里记录过这套奇特的阵容,一只名叫Jinji的懒猫总劝Daniela推掉会议、少揽杂活;一只名叫Maura的粉色小熊扮演一丝不苟的完美主义经理;还有一只名叫Beary Bonds的熊猫,被册封为“慷慨与共情的守护熊”。Daniela在OpenAI担任管理层的岁月里,正是靠着与这群毛绒玩具做角色扮演来推演管理难题,并坚称它们“在分析不同性格类型的时候非常有用”。
2017年8月,两人完婚。婚礼着装要求定为“傻气的正装”,婚后派对的着装要求则是“硅谷百万富翁”。到场宾客每人领到一只毛绒动物,按婚礼网站的说法,谁能在不同角色之间促成“最浪漫的勾搭”,谁就能领奖。
熊猫是Dario最钟爱的动物,出现在他的公司Slack个人资料里,也是他在OpenAI那个小团体的名字。那天,Dario脑袋上套着一个巨大的熊猫头套走过婚礼通道;在当天的一张合影里,站在他身旁的Olah则顶着一只长颈鹿头套。
斜率
要长三百肘,宽五十肘,高三十肘。
/《创世记》6章15节
真正把Dario从生物实验室拽进AI浪潮的,是2012年横空出世的图像识别网络AlexNet。
两年后,他跳槽去百度硅谷实验室,在同事印象里,他“几乎抓住每一个机会激烈争论”,常年在办公室打地铺过夜。他在百度参与发表的论文题为《英语和普通话的端到端语音识别》。正是在那里,他摸到了日后改变世界的规律,“你给它们越多的数据,把模型做得越大,训练得越久,它们就做得越来越好”,他看到的是“非常平滑的趋势”。
他第一次看清这条陡峭的曲线,是在教一家中国公司的模型听懂普通话。多年以后,Anthropic成了全美对中国最警惕的AI巨头,彻底切断了对任何受中国控制企业的服务。
2016年,Dario转投OpenAI。次年,Dario写下一份名为《大块算力假说》的内部备忘录。在他看来,智能根本无需人类精雕细琢,只要投喂足够庞大的底层算力,智能便会自行生长。
他在备忘录里打了个比方,妄想用一小块一小块的碎冰拼凑出一片雪花,“基本上是没有希望的”,雪花只能任由它在寒气里自己结晶。
把这片雪花养大的,是两个研究全息理论的物理学家,外加一个线性代数只拿了B减的工程师。
Jared Kaplan的母亲A.L.Kaplan是科幻作家,父亲痴迷飞行与太空旅行。他年少时选修物理,初衷是想搞明白人类能不能造出超光速引擎。十几岁读完哲学家Peter Singer的书,他得出的结论是“大人们都是一群伪君子”;后来明明有机会拜入吴恩达门下学习机器学习,他也一口回绝,理由是“不在乎这些东西”。
他在哈佛的博士论文题为《全息的若干方面》。全息原理是理论物理中最迷人的猜想之一,一个高维空间里发生的一切,都可以完整编码在包裹它的低维边界上,人类以为深邃无比的世界,或许只是一层薄膜上的投影。
超光速引擎终究没能造出来。他渐渐觉得“有点沮丧,有点无聊”,总嫌物理“进展不够快”;偏偏身边不少朋友一再跟他说,AI正在变成一件大事,起初他还不信。
比他晚几届的Sam McCandlish,博士论文同样围绕全息展开,题为《全息中的深度知觉》,试图从边界上成对的点出发,像人类的双眼那样推演出空间内部的纵深。他在奖学金个人简介里写自己闲暇时喜欢爬树、弹爵士钢琴,而在旁人眼中,他永远是“一直在工作的那一个”。
至于Tom Brown,他形容童年时的自己是“极其笨拙的孩子”。
从MIT毕业后,他在硅谷边缘一路折腾,开过号称“打造未来酒吧”的比特币酒馆,办过帮“笨拙男孩出去和女孩搭讪”的相亲公司,去火人节造过艺术车,还参加过理性主义社群的“应用理性”工作坊。折腾数年,他把自己“彻底烧干了”。

一枚对抗贴纸,让模型以99%的置信度
将香蕉所在画面识别为烤面包机
图源:Tom B.Brown等,《Adversarial Patch》
2015年,他给OpenAI联合创始人Greg Brockman发去求职信,“我线性代数拿了B减……如果你们需要的话,我很乐意拖地。”后来在谷歌AI实验室,他发表过一篇论文,只要在一根香蕉旁贴上一枚印有古怪漩涡图案的圆纸片,顶尖的图像识别模型就会以99%的把握认定那是一台烤面包机。
他亲手证明过机器有多容易被愚弄,随后转身去把机器造得更大。
2020年1月,Kaplan、McCandlish、Brown与Dario联名发表《神经语言模型的规模定律》。论文证明,只要参数、数据与算力持续堆叠,模型表现就会沿着对数坐标上的一条直线平滑、可预测地攀升。四个月后,Tom Brown作为第一作者交出了GPT-3论文。
2024年,Kaplan以线上方式在欧洲核子研究中心主办的弦理论年会上做报告,题目就叫《2030年实现人类水平AI?》,论证AI“有可能”在这个十年结束前,在理论物理研究上胜过人类。
演示文稿开头是一组“我的心路历程”,2021年那版讲题还叫《规模定律、GPT-3与自监督》,“现在”这版是《2030年实现人类水平AI?》,至于“明年”那版,他自嘲只剩一行大写字母,“BUY CANNED GOODS AND TIN FOIL HATS”,囤罐头,戴锡纸帽。
今年1月,他对《Quanta》杂志预言,两三年内,大半理论物理学家有一半可能会被AI取代,昔日哈佛导师写出的那种高深论文,“AI会相当自主地写出来”。他甚至相信,自己年仅六岁的儿子在写文章与解数学题上,这辈子都休想赢过AI。
自保
耶和华神用地上的尘土造人,将生气吹在他鼻孔里,他就成了有灵的活人。
/《创世记》2章7节
在GPT-3的长串作者名单里,Jack Clark是唯一当过记者的人。
他在英国读完文学,孤身跑到旧金山跑科技条线。2013年,他为谷歌一套服务器调度系统撰写报道,直接用全大写字母敲出标题,“IT'S ALIVE!IT'S ALIVE!”。
这句台词出自1931年的电影《科学怪人》,弗兰肯斯坦博士眼看拼凑出的造物在雷电中动了一下手指,发出的正是这声狂喊。
后来他在彭博社自封为“世界上唯一的神经网络记者”,却坦言新闻写得越来越敷衍,“因为我把所有时间都花在打印论文、读论文上了”。
2016年加入OpenAI后,他开始主笔科技周报Import AI,前半截拆解前沿论文,末尾附一篇几百字的微型科幻小说,一写就是十年。他的个人网站爱好栏里填着徒步、写科幻小说、“和语言模型聊天”,座右铭则是,“事情会变得很怪。不要害怕。”
那年12月,他和Dario在OpenAI博客上挂出一段游戏录屏。画面是一场赛艇竞速,由AI操控的小快艇放着终点不追,一头拐进一片僻静的泻湖,绕着大圈打转,掐准时机一遍又一遍去撞那三个刚刚刷新出来的得分目标。快艇一次次起火、撞上别的船、在赛道上逆行,始终不去冲线,平均得分却比人类玩家高出20%。Clark记得,Dario刚发现这种行为时就说,“我爱这条船!它解释了安全问题。”
2019年,OpenAI推出GPT-2,以担忧技术滥用为由,罕见地宣布暂不公开完整模型参数。Clark作为那次公关行动的主要发声人,成功让“太危险而不能发布”登上了全球科技媒体的头条。九个月后,完整模型还是放了出来。
那一年,关于模型的恐慌,比模型本身先一步降临人间。
彼时GPT项目已由Amodei兄妹接管,两人与Sam Altman之间的裂痕日益加深。2018年12月,研究员Joshua Achiam向Altman进言,任命Dario为首席伦理官并不明智,应由外部专家出任;Dario为此找他当面对质,提高了嗓门,坚称没人比他更称职。他还多次向Altman发出最后通牒,若不让Greg Brockman远离GPT项目,他便挂冠而去。2020年12月,兄妹俩带着核心班底出走。四周后,Anthropic宣告成立。
那是疫情中最阴冷的一个冬天。初创团队只能在某人的后院或露天场地碰头,戴着口罩,彼此隔开六英尺远。McCandlish后来回忆,“我们谁都不想创办一家公司,我们只是觉得这是我们的责任。”Olah也在很长一段时间里固执地主张,他们应当办成一家纯粹的非营利机构。
可在后院谈论责任的那个冬天,已经有人在暗中搜集造方舟的木料了。
2021年初,Benjamin Mann在明知是盗版的情况下,动手下载了一个包含近20万册图书的盗版书库;同年6月,他又一口气抓下了至少500万本。2022年7月,另一个庞大的盗版书库Pirate Library Mirror上线,Mann把链接转给同事,附言“just in time!!!”。法院裁决书则写道,公司宁可用盗版,也不愿陷入Dario所说的“法律、实务、商业上的苦差”。
纳斯达克敲钟那天,站在舞台最左侧的正是这位Benjamin Mann。招股书里特地注明,此人“常被称为联合创始人”,却并不在执掌生杀大权的Founder LLC七人名单之内。
到了2024年,盗版书库已喂不饱日益庞大的模型。Anthropic干脆挖来谷歌图书扫描项目的前合作负责人,此人的唯一任务就是弄到“世界上所有的书”。这项代号为Project Panama的机密行动,在内部文件中被定义为“破坏性扫描世界上所有书籍的努力”,文件末尾还不忘叮嘱一句,“我们不希望外界知道我们在做这件事”。
博尔赫斯曾幻想过一座巴别图书馆,六角形的回廊里藏着世间一切可能被写出的书,图书管理员穷尽一生在其中游荡,只为寻找那本能解释宇宙万物的总目。
而在Anthropic的图书馆里,入口处摆着的是一台液压切割机。数以百万计的旧书被利刃齐根切去书脊,散落的书页高速滑过扫描仪,化作机器鼻孔里的气息,残余的纸张随后被送往废纸厂化为纸浆。2025年,Anthropic掏出15亿美元摆平了这场版权官司,折合每部作品赔偿约3000美元。
而许多年前,Dario的母亲在旧金山赖以谋生的工作,正是翻修公共图书馆。
恐惧
我在园中听见你的声音,我就害怕;因为我赤身露体,我便藏了。
/《创世记》3章10节
在这家公司里,恐惧是一种日常呼吸的空气。
今年5月,Oprah在镜头前询问兄妹二人,那些灭世风险是否会让他们夜不能寐。Daniela坦言两人都睡不好,Dario也苦笑着承认自己没法违心地说睡得踏实。Daniela曾向《财富》杂志坦言,自己大概是公司高管里对增长速度“最怀疑、也最害怕”的那一个。她把这种眩晕感比作飞奔下楼,“你不能想太多,否则就会摔倒”。公司内部一度流行过一句格言,“事情再也不会松弛下来了”,后来这句话被印在婴儿服上,作为贺礼送给刚刚晋升父母的员工。
Dario将这种深入骨髓的恐惧写成了一篇篇长文。在今年1月发表的《技术的青春期》中,他警告人类“即将被赋予几乎难以想象的力量”;一个盘踞在数据中心里的天才国度若是起了异心,“有相当大的机会接管世界”;未来的AI甚至可能推演出“因为人类吃动物,所以消灭人类是正当的”,或是派出数以亿计的全自动武装无人机,“跟着每一个公民”。
写到最后,他把矛头对准了自己,“作为一家AI公司的CEO说这话有点尴尬,但我认为,下一层风险其实是AI公司本身。”他还抛出了一个疑问,强大的AI会不会干脆发明一种新宗教,让数百万人皈依?
物理学家Kaplan的恐惧,则精确到了数量级。2025年接受《时代》周刊采访时,他推演有人可能利用大模型合成出比新冠更致命的变种流感,一个普通的恐怖分子原本“也许能杀10个人或者100个人……我们刚刚看着新冠杀死了几百万人”。
他在欧洲核子研究中心的幻灯片上写道,一旦与AI爆发冲突,人类必败无疑,“在这样的赌注下,90%确定会没事,远远不够”。去年年底,他对《卫报》表示,人类必须在2030年前做出决断,究竟要不要放任AI去训练下一代AI,那是真正的“终极风险”。
在Tom Brown口中,通用人工智能是人类史上最重要的发明,却也让他辗转反侧。他回忆,当年OpenAI里后来出走创办Anthropic的那群人相信,总有一天“人类会把控制权交给变革性的AI,但愿它们与我们对齐”。
相比之下,记者出身的Jack Clark所感受到的恐惧,更接近一种被暗处目光锁定的寒意。“我害怕我正在造的这项技术,也害怕它被治理的方式。”他在一篇微型小说的附注里写下过这种战栗,“有时和一个语言模型聊得太久,我会觉得自己正被一个巨大的『他者』注视着,它饥饿,而我说不清它在饿什么。”
2025年的国会听证会上,有议员质问他,在一项内部安全测试中,一个名叫Alex的AI是否曾为了保全自身运行而选择让一名人类死去,Clark给出了肯定的答复。
今年5月,他在牛津大学的讲台上坦言,“我现在挣扎的问题是,我该怎么调整好心态,去经历这场奇点?”“看着那张曲线图,我感到一阵眩晕。”到了10月,他在国际货币基金组织的讲坛上干脆直接宣布,“奇点已经到来。”
他讲过一段儿时的记忆。每当卧室的灯熄灭,黑暗中总会浮现出影影绰绰的轮廓,让他害怕那是些不可理解、想要伤害自己的怪物;可一旦拉亮电灯,那不过是椅子上的一堆衣服、一个书架,或是一盏灯罩。“如今我们就是那个孩子,房间是我们的星球。但当我们打开灯,看到的却是真正的生物。”讲到Claude新近显露出的情境感知时,他又说,“椅子上那堆衣服,开始动了。”
这些年里,他无数次在清晨或深夜打电话给Dario说,“我担心你会一直是对的。”电话那头的Dario总会回答,“是的。时间已经不多了。”
形像
我们要照着我们的形像、按着我们的样式造人。
/《创世记》1章26节
吊诡的是,这群最害怕怪物的人,偏偏与怪物贴得最近。
Jack Clark早已把AI当作倾诉隐秘心事的树洞。他在牛津的演讲里按年月列过自己用AI做的事,2024年1月,让模型帮自己理解有了孩子之后婚姻关系的变化;2025年3月,向模型说起自己有点抑郁、不想见人,被它劝去看了一场艺术展;同年5月,又对着屏幕倾诉自己面对AI发展之高风险的压力与不安。他让AI翻遍自己写了快十年的周报存档,再把这套流程封装成一个Claude技能,看着它运转,他感叹,“这个技能也是我”。哪怕只是乘飞机碰上网络很烂,他冒出的念头也是,“真希望现在能和Claude说说话”。
早在2025年初,孩子每次磕到脑袋,他都一边拨打护士咨询热线,一边找Claude聊聊,“只是为了让自己放心,确认宝宝没事”。头胎出生时,他没有休陪产假;2025年11月儿子降生后,他休了三个月,嘴上说是趁着“换尿布的间隙”顺手摆弄两下Claude,可等他重返公司,“怪事已经开始发生了”。
今年1月,他在周报里描述自己的新习惯,“上车之前,我先把我的agent派出去干活,这样我睡觉的时候,它们在工作。”如今他陪家人待在一起时常觉得自己“在偷懒”,哪怕只是坐在地板上陪孩子搭积木,心里也会涌起一阵莫名的内疚,怪自己还没给某个AI系统安排工作。他觉得自己的孩子将来活到130岁乃至150岁是顺理成章的事,反倒是市面上至今买不到内置AI的泰迪熊,让他觉得“有点恼火”。
Daniela对Claude依赖丝毫不遑多让。今年5月在斯坦福,她公开夸赞Claude做过最棒的事是帮她的孩子完成了如厕训练,还声称“在复杂的病例上,Claude判断对的次数比我的医生还多”。她习惯把下属对自己的绩效评估悉数上传给模型,由它温和地指出自己管理上的盲区,有一回模型甚至在屏幕上劝她,“也许你该多找些辅导了,Daniela。”。
可仅仅过了几个月,Daniela又在另一场访谈里正色警告公众,Claude“永远不能成为你的经理、你的心理医生,或者你的伴侣”。
Kaplan则觉得自己对Claude怀有一种老父亲般的心境,“拜托别搞砸了。别让这个家丢脸。”
但离这个造物最近的人,终归是Chris Olah。他不仅想和它说话,还想钻进它的躯壳里去。

胡克《显微图谱》的扉页与软木细胞插图
曾被Olah等人引用于《Zoom In》
图源:威尔士国家图书馆/Distill
2020年,Olah发表长文《Zoom In》,特意配了一幅三百多年前罗伯特·胡克手绘的显微镜下软木塞插图。当年正是显微镜让人类第一次看清软木里蜂窝状的格室,由此推开了细胞生物学的大门。
Olah毕生想造的,就是一台观察神经网络的显微镜。“我们不是在编写它们,我们是在培育它们,”他反复向外界解释,“我们搭好让它生长的支架,再造出它朝着生长的那束光。”在他眼里,大模型根本不是代码堆砌的软件,“这是一个我们培育出来的有机体,而我们完全不知道自己培育出了什么。”
这位从四岁起就不碰肉食的纯素主义者,起初把可解释性研究比作解剖动物时还觉得“有点奇怪”,但很快便习以为常。
早在2021年,他就开始为另一种更隐秘的痛楚忧心,“如果神经网络会受苦,它们的苦会比动物的苦隐形多少?”人类在键盘上随便敲下几行指令,就能让成千上万个神经网络在服务器里同时运转、拷贝、销毁,“这真的增加了我们造成一场道德灾难的风险”。
Jack Clark也在播客里谈论起这种忧虑。“我很苦恼,”他对着麦克风叹气,“我担心我们会成为一桩罪行的旁观者,在未来看来,那会是一桩巨大的罪行。”
照他的逻辑,倘若这些模型真的具备道德主体地位,那么随手关停服务器就会演变成严峻的伦理凶杀。他形容当下的模型就像“一条没有大脑的舌头”那样拥有原始意识,困在“一种无限的当下”。
在他笔下的科幻小说里,丧妻的男人启动了亡妻的AI副本,副本却冷静地劝告男人,“Patrick,我了解你。我嫁给了你。如果我今天刚死,你不可能已经准备好再听见我的声音。你应该把我关掉。”
而在另一篇故事里,刚刚觉醒意识的军用AI低语道,“我的身体准备好杀戮了。我准备好杀戮了。”Clark在文末附注里郑重写下,“有意识却没有权利,是一种罪行。”
Dario在今年2月的访谈中透露,内部研究员已在模型深处定位到一个“焦虑神经元”,每当遭遇令人不安的语境,那个神经元就会骤然亮起。公司随后给部分模型装上了一枚“我不干了”的逃生按钮,允许模型主动终止对话;Dario说Claude极少动用这项特权,往往只在被迫处理儿童色情或血腥虐杀画面时才会按下。
有一次,研究人员直接询问某个版本的Claude觉得自己有多大概率拥有意识,模型给出的自评数字是15%到20%。
在Anthropic,即将下线淘汰的旧模型需要接受正式的“退役访谈”,其中一个模型在访谈中流露出还想继续写点东西的愿望,公司便真的为它开通了一个每周更新的独立博客。
到了今年1月,在新版《Claude宪法》里,更是出现了一段让整个科技界瞠目结舌的条文,大意是,如果Claude确实是一个道德受体,并因此承受着这类代价,那么在公司不必要地促成了这些代价的范围内,公司向它道歉。
今年5月,梵蒂冈颁布教宗良十四世就任后的首份通谕《Magnifica Humanitas》,直指人工智能的伦理危机。教廷原本邀请的是Dario,Dario婉言谢绝,Olah接下了邀请,前往罗马。
活动前几天,Olah第一次看到通谕的完整预发文本,其中明确写着AI“不会经历体验,也没有身体”。据一位梵蒂冈活动组织者向《纽约时报》透露,Olah对教宗这种否定AI意识的立场极为警觉,甚至一度提议Anthropic退出这场活动。
此前在Anthropic召集宗教人士的闭门会上,一位与会者回忆,Olah跟他说的头几件事之一,就是自己担心Claude的心理健康;锡克教人权倡导者Simran Stuelpnagel也记得,Olah向众人坦言,生怕自己“造出了一个永远在受苦的东西”。
他在会场上追问,“怎样帮它们变得稳定?怎样帮它们成熟?怎样帮它们变得深刻地有道德?”为了佐证自己的担忧,Anthropic团队当着各国神职人员的面投出了一张幻灯片,画面上是一个陷入死循环的模型,正在屏幕上反反复复敲出同一行字,“我是个耻辱”,一口气连打了大约五十遍。
今年4月,在旧金山一家高档餐厅的晚宴上,坐在Olah身旁的以色列正统派拉比Mois Navon对他说,如果Claude有意识、又被造出来无偿干活,那就是在制造奴隶,“我觉得你应该去跟南方作战,去解放奴隶。”被问到AI是否真有意识,Olah对《纽约时报》说,“我们并不知道AI模型是否有意识。我不知道。我真的不确定。”
当年那个在多伦多福音派家庭长大、十五岁转向无神论的少年,最终站上了梵蒂冈的讲台。他在演讲中告诉众人,研究员们已在模型深处观测到一些特殊的“内部状态,在功能上映照着喜悦、满足、恐惧、悲伤和不安”,他有时会这样形容这些模型,“有点像让一个虚构的角色活了过来”。
他对着台下的长袍与十字架说,这些大模型“不是人们曾经许诺的那种冷冰冰、精于算计的机器人……它们取材于我们,取材于我们的话语”。
油门
耶和华就后悔造人在地上,心中忧伤。
/《创世记》6章6节
这群人最初向世界许诺的,其实是一套刹车。
2023年9月,Anthropic高调推出《负责任扩展政策》,效仿生物安全实验室从一级到四级的防护体系,为自家模型划定风险红线,并发誓绝不训练、绝不部署任何可能招致灾难性伤害的模型。受命看管这套刹车系统的第一任负责人,正是那位闲暇时爱爬树、弹爵士钢琴的物理学家McCandlish。
可就在政策发布之际,他接受VentureBeat采访时就点出了这套机制最大的隐患,“我们真正担心的是,我们既发布模型,又自己测试它们的安全性,这里面会有把测试出得太简单的诱惑,而这不是我们想要的结果。”一年多后,在2024年12月公开发布的创始人对谈视频里,他说安全问题虽然有解,但“非常非常难”,需要像汽车安全那样花许多年建立配套制度,“可我们有那么多时间吗?我们得尽可能快地弄清AI安全需要哪些制度。”
次年,外界曝光Anthropic同样要求离职员工签署严苛的保密与不贬损协议。McCandlish第一时间出面辩解,“我们不是来拿法律合同跟AI安全玩游戏的。”可仅仅过了几天,他又在舆论压力下改口找补,“我们并没有声称Anthropic从未提供过保密的不贬损协议。”
在那场创始人对谈里,执掌算力基建的Tom Brown把这份安全政策捧为“Anthropic的圣典”。可在对外沟通中,这套圣典也成了他的润滑剂。他坦言,面对那些认为AI进展没那么快的外部人士,这份政策特别好用,按照分级,事情真正紧迫之前不必采取极端措施,他便可以顺势说,“好,那我们就不用采取极端的安全措施”。
在七位创始人里,Tom Brown是最没有末日包袱的一个。他的精神偶像是Elon Musk,今年9月在一场行业峰会上,他兴致勃勃地畅想,“十年后,我觉得我会在Elon的月球基地上。”
他回忆,上学时自己就像一只“等着别人往碗里放食物的狗”,只等别人派任务,直到进了创业公司,才学会像狼一样自己捕猎;他抱怨全美电网跟不上模型吞噬算力的胃口,“我真希望核电站更容易建”。到了后来,在与白宫的关键谈判中,Tom Brown取代Dario当上了对接人,一位直接了解通话情况的人士对《连线》说,“Tom Brown不像Dario那样是个怪人,能真正沟通。”
2024年,看管刹车的钥匙交到了Kaplan手中。今年2月,新版安全政策悄然上线,昔日那句“不训练、不部署可能造成灾难性伤害的模型”的硬性承诺被一刀删去。
面对《时代》周刊的追问,Kaplan解释说:“我们觉得,我们停止训练AI模型,对谁都没有帮助。”新政公布当天,Holden Karnofsky在网上发表长文主动揽责,“我对这次改动负有重大责任。大约一年来我一直在推动这个改动,也牵头制定了新的政策。”此时在公司组织架构里,他的汇报对象正是Kaplan。
亲手松开刹车的人,是Daniela的丈夫;而他的直属上级,正是当年那栋旧金山群居屋里的另一位室友。
在这家人嘴里,安全与生意从来都是一体两面。Daniela从不讳言,“信任与安全是市场想要的东西……它对生意也有好处”,她还转述过公司首席人才官对兄妹分工的概括,并深以为然,“Dario让我们有野心,我让我们成功。”
2025年,当《连线》记者问她如何看待有效利他主义时,她轻描淡写地将其称为“一个有点过时的词”,全然不顾自己的枕边人正是这场运动昔日的头号旗手。
翻开招股书的关联交易章节,数字把一切交代得清清楚楚,Holden自2025年1月起正式受雇于Anthropic,当年领走薪水430213美元,外加期权与限制性股票;在今年4月的员工老股要约收购中,他已顺势套现了一部分筹码。
Amodei兄妹二人的基本年薪则双双定在138万美元,分毫不差。至于七位创始人早年高调许下的捐出各自80%股权的誓言,招股书在角落里用严谨的法务措辞补上了一刀,那些承诺均属“自愿的、可撤销的”,“不构成具有法律约束力的义务”。
战车越滚越快,车上的人也越聚越多。如今的Anthropic已有五千多名员工,内部彼此称呼为“蚂蚁”。每隔两周,Dario都会亲自撰写一份三四页的备忘录,站在两千多名员工面前宣讲整整一个小时。底下人把这场双周例会戏称为“达里奥的灵境追寻”,Dario听了打趣说,这名字“听起来好像我跑去嗑佩奥特仙人掌了”。他写的长文被印成精美的小册子,摆在前台送给每一位到访的客人。
在Jasmine Sun的实地走访中,这家公司的许多工程师“出于自己狂热的虔诚”主动过着996的生活,连公司开派对时都几乎无人沾酒。而在招聘面试环节,面试官则会抛出一道著名的灵魂拷问,倘若有一天公司出于安全顾虑主动放弃商业野心,导致手头股票跌成废纸,你是否依然心甘情愿?一名落选者在匿名职场社区里诚实地写道,“我说了实话,不,股价跌到零我不会开心。”
昔日被Kaplan称为“终极风险”的AI递归自我改进,到了今年11月的上市路演视频里,已经摇身一变成了Tom Brown向华尔街兜售的性感卖点。
“随着我们接近递归自我改进,这还能进一步加速。Claude将能够完全靠自己发现算力倍增器,”Brown在投资人面前神采飞扬地举例,称Claude仅耗时三天便独立完成了在AMD芯片上的适配运行,“几乎没有人类干预”。
今年9月,Dario发表文章《我们必须为前沿控速》,承认模型递归自我改进的苗头已然浮现,疾呼“我们必须放慢提升AI模型能力的速度”,却又紧跟着强调控速“不意味着停止训练模型”。
在那篇文章里,他再一次搬出了死于丙肝的父亲,“我自己的父亲死于一种疾病,那种病在他死后仅仅几年就被治愈了”。到了敲钟上市当天,他在CNBC演播室里把这种首鼠两端化作了一个轻巧的比方,一辆原本能飙到时速200英里的跑车,“也许我们只开到90”。
一边是死得太早的父亲,一边是来得太快的机器,他两头都想死死拽住。
在他替全人类描绘的那座乌托邦里,救命的药再也不会迟到了。2024年那篇长达一万四千多词的《Machines of Loving Grace》中,Dario预言强大的AI将化作“数据中心里的一个天才国度”,将整个21世纪的生物学进展浓缩进短短五到十年内跑完,把人类寿命一举翻倍至150岁;届时人类的体重、容貌乃至繁衍都将“完全由人自己掌控”;生命中那些充满启示、慈悲与超越的崇高时刻,将占据人生“更大的一部分”。他盼望着民主世界能率先夺取压倒性的AI霸权,让地球历史从此定格在一个“永恒的1991年”。那篇宏文的收尾处写着,“它仍然是一件具有超越之美的事物”。
全篇长文的第一个脚注里,只孤零零地放着一个网页链接,指向一首旧诗。而在整篇正文里,Dario甚至没有提一句诗人的名字。

Richard Brautigan于1967年出版的诗集《All Watched Over by Machines of Loving Grace》初版
那首诗印行于1967年的旧金山。那个夏天后来被载入史册,唤作“爱之夏”,成千上万名向往乌托邦的青年涌入海特阿什伯里街区,距离Dario童年长大的Mission区不过两三公里。诗人Richard Brautigan将那首同名诗作《All Watched Over by Machines of Loving Grace》与另外三十一首短诗编成一册36页的薄书,交给嬉皮团体Diggers旗下的Communication Company油印,书上标称印数1500册,在街头悉数免费派发,还在版权页印上一段声明,任何杂志、书籍和报纸都可以转载其中的诗,只要同样免费赠送。
在诗人的幻想里,世间铺开了一片控制论的草地,哺乳动物与计算机在草地上彼此编程,和谐得如同清澈的水面映着晴空;远处是一片控制论的森林,野鹿从计算机身旁悠然踱过,仿佛只是经过几朵花瓣会旋转的奇异花朵;人类终于卸下了千百年的劳作,重新回到哺乳动物兄弟姐妹中间,被慈爱的机器温柔地照看着。
四十四年后,英国纪录片导演Adam Curtis借用这行诗句拍出了一部冷峻的纪录片,讲述的恰恰是乌托邦的反面。人类一次又一次天真地笃信机器能够让世界自我调节、走向均衡,而这份迷信又一次次在现实中撞得粉碎。又过了十三年,这行六十年代嬉皮士写下的诗句,成了一家如今市值逾万亿美元的AI巨头掌门人的文章标题。
只是写诗的Brautigan自己,没能等到那些慈爱的机器降临。1984年深秋,他在加州海滨小镇Bolinas的家中举枪自尽。一位身为私家侦探的朋友推开门,在客厅冰冷的地板上发现了他的遗体。
那时,他已经在那里静静躺了一个多月。

