对话Altman：GPT-4发布前后的OpenAI究竟发生了什么？

2022年的11月，OpenAI 的 ChatGPT 横空出世。ChatGPT 的强大性能引起了无数人的关注，不少人也在关注这款人工智能大模型未来究竟会给世界带来什么变化？大西洋月刊的记者Ross Andersen近日发表了一篇文章，分享了他和 OpenAI 诸位高层的谈话内容，以及他们认为生成式人工智能发展所带来的后续问题。

以下为原文翻译：

四月的一个周一早晨，Sam·Altman坐在 OpenAI 旧金山总部内向我讲述了他公司制造的一个危险的人工智能，但好在这款人工智能永远不会发布。他说，他的员工经常因为担心有一天可能会发布一款没有意识到其危险性的人工智能而失眠。他的脚后跟搭在转椅边上，看起来很轻松。他的公司在去年 11 月发布的强大的人工智能吸引了全世界的注意力，这在科技界的近代史上是绝无仅有的。有些人对 ChatGPT 还做不好的事情怨声载道，有些人则对它可能预示的未来耿耿于怀，但Altman并不在意，对他来说，这是一个胜利的时刻。

在 Altman 看来，人工智能在发展初期能表现出类人的能力。但他也明白，当人工智能发展到一定程度，这能力可能会让人感到不安。但在现在这种情况下，他愿意冒这个险。他告诉我，无论人工智能的最终风险是什么，他都不会后悔让 ChatGPT 进入这个世界。在他看来，这是一项伟大的公益事业。

他说："我们本可以在我们的大楼里再准备五年，届时会发布一些令人瞠目结舌的东西。但公众还没有对对随之而来的冲击波做好准备。"他认为这种结果 "令人难以想象"。Altman认为，人们需要时间来意识到，我们可能很快就会与一种强大的新智能共享地球，在它重塑从工作到人际关系的一切之前。ChatGPT 是发出通知的一种方式。

2015 年，Altman、Elon·Musk和几位着名的人工智能研究人员成立了 OpenAI，因为他们相信，人工通用智能，一种与典型的大学毕业生一样具有智力能力的产品终于触手可及了。他们想要实现它，甚至让它做的更好：他们想在这个世界上推出一种超级智能，一种决定性优于人类的智能。大型科技公司可能会为了一己私利，不顾一切地抢占先机，而他们则希望安全地实现这一目标。"他们将 OpenAI 定位于非营利组织，"不受经济回报需求的限制"，并发誓要透明地开展研究。多年来，公众对 OpenAI 的了解并不多。当 Altman 在 2019 年成为首席执行官时（据说是在与Musk的权力斗争之后），几乎没有什么新闻报道。OpenAI 在此期间发表了部分论文，其中包括一篇关于新型人工智能的论文。这引起了硅谷科技界的充分关注，但直到去年，人们开始玩 ChatGPT 时，这项技术的潜力才被大众发现。

现在为 ChatGPT 提供动力的引擎叫做 GPT-4。Altman把它形容为外星智能。许多人都有过同样的感受，看着它 "咯噔 "一声的爆发和短暂的停顿后生成条理清晰的文章，唤起人们的实时思考。

在它存在的几个月里，它根据自己的风味组合理论调制出新颖的鸡尾酒配方；撰写了不计其数的大学论文，让教育工作者陷入绝望；写出了各种风格的诗歌。还通过了统一律师资格考试。其中或许有事实错误，但它会迷人地承认错误。Altman至今还记得，当他第一次看到 GPT-4 写出复杂的计算机代码时的情景。他说：“就好像'我们来了'”。

在 ChatGPT 发布后的九个星期内，它的月活跃用户数量就达到了约 1 亿、 根据瑞银的一项研究显示，这很可能使它成为当时历史上最迅速被采用的消费产品。它的成功激起了科技界加速主义的热情：美国和中国的大投资者和大公司迅速投入数百亿美元，以OpenAI的方法为蓝本进行研发。

多年来，预测网站 Metaculus 一直在追踪预测者对人工智能何时问世的猜测。三年半前，猜测的中位数是 2050 年左右，而最近则徘徊在 2026 年左右。

我访问 OpenAI 是为了了解让这家公司超越科技巨头的技术，同时也是为了了解如果在不久的某一天，该公司的云服务器中出现了超级智能，这对人类文明可能意味着什么？

自从计算革命开始以来，人工智能就被神话为一种注定会带来深刻变革的技术。我们的文化产生了一整套关于人工智能的想象，它们会以这样、那样的方式终结历史。有些人工智能是神一样的存在，它们会为人们擦去每一滴眼泪，治愈病人，修复我们与地球的关系，然后迎来永恒的和平、富足和美丽。而另一些则将我们中除极少数精英之外的所有人都贬为农奴，或将我们赶尽杀绝。

Altman曾设想过最天马行空的场景。他说："在我年轻的时候，我有过恐惧、焦虑......老实说，还有2%的兴奋，我觉得我们会创造出这个东西"。"它将远远超过我们"，"它将飞走，殖民宇宙，人类将被留在太阳系"。

"作为自然保护区？"我问道。

"没错，"他说。"我现在觉得这太幼稚了"

在美国和亚洲的几次谈话中，Altman用他那兴奋的中西部口音阐述了他对人工智能未来的新设想。他告诉我，人工智能革命将不同于以往的技术巨变，它将更 "像一种新型社会"。他说，他和他的同事们花了很多时间思考人工智能的社会影响，以及人工智能的世界会是什么样子。

但随着我们聊得越多，人工智能的世界就越来越模煳。现年 38 岁的Altman是当今人工智能发展领域最有权势的人物；他的观点、倾向和选择可能对我们所有人的未来都有重大影响。但他自己也承认，未来是不确定的，而且充满了致命危险。Altman不知道人工智能会变得多么强大，也不知道它的崛起对普通人意味着什么，更不知道它是否会给人类带来危险。我并不反对他这么做，我认为没有人知道这一切会走向何方，只是我们正在快速前进，不管我们是否应该前进。这一点，Altman说服了我。

OpenAI 的总部位于使命区一家四层楼高的旧工厂内，就在雾气缭绕的大怪塔下面。进入大厅，首先映入眼帘的是一面曼陀罗墙，它是用电路、铜线和其他计算材料打造而成的，是宇宙的精神象征。左侧是一扇安全门，通向一个开放式的迷宫，迷宫里有俊美的金色木材、优雅的瓷砖和其他亿万富翁的照片。总部里植物无处不在，包括悬挂的蕨类植物和令人印象深刻的特大盆景，每个都有蹲着的大猩猩那么大。我在那里的每一天，办公室里都挤满了人，但我没有看到一个看起来超过 50 岁的人。除了一个配有滑梯的两层图书馆外，这个空间看起来并不像一个研究实验室，因为正在建造的东西只存在于云端，至少现在是这样。它看起来更像是世界上最昂贵的 West Elm 卖场。

一天上午，我见到了 OpenAI 的首席科学家Ilya Sutskever 。现年 37 岁的 Sutskever 有着神秘主义者的气质。去年，他引起了一场小骚动。他声称 GPT-4 可能 "略有意识"。他最初成名是因为他是多伦多大学名誉教授杰弗里-辛顿Geoffrey Hinton的学生。Geoffrey Hinton今年春天从谷歌辞职，这样他就可以更自由地谈论人工智能对人类的危害。

Hinton有时被称为 "人工智能教父"，因为他比大多数人更早地掌握了 "深度学习 "的力量。20 世纪 80 年代，就在辛顿完成博士学位后不久，该领域的发展几乎停滞不前。高级研究人员仍在研发自上而下的人工智能系统：人工智能将被编程为一整套环环相扣的规则--关于语言、地质学原理或医学诊断，并希望有朝一日这种方法能达到人类的认知水平。辛顿发现，这些精心设计的规则集合既繁琐又定制化。在一种被称为神经网络的巧妙算法结构的帮助下，他教导 Sutskever 把世界放在人工智能面前，就像把世界放在小孩子面前一样，让它自己去发现现实的规则。

Altman将早期人工智能研究比作教婴儿学走路。但在 OpenAI 最初的几年里，没有人知道他们是在训练婴儿，还是走进一条成本极高的死胡同。

Sutskever向我描述了一个美丽且像大脑一样的神经网络。有一次，他从我们坐着的桌子上站起来，走到一块白板前，打开红色记号笔的笔盖。他在白板上画了一个简陋的神经网络，并解释说，这个网络结构的精妙之处在于它可以学习，而学习的动力来自预测。有点像神经元分层排列。输入层接收大块数据，例如一段文字或一张图片。神奇的事情发生在中间层，也就是 "隐藏 "层，这些层处理大量数据，这样输出层就能吐出预测结果。

想象一下，一个神经网络被编程用来预测文本中的下一个单词。它将预装大量可能出现的单词。但在训练之前，它还没有任何区分这些词的经验，因此预测结果会很糟糕。如果给它输入句子 "星期三的第二天是......"，它的初始输出可能是 "紫色"。神经网络之所以会学习，是因为它的训练数据中包含了正确的预测，这意味着它可以给自己的输出打分评价。当它发现自己的答案 "紫色 "与正确答案 "星期四 "之间存在差距时，它就会相应地调整隐藏层中单词之间的连接。随着时间的推移，这些微小的调整会凝聚成一个语言的几何模型，从概念上表达词语之间的关系。一般来说，输入的句子越多，它的模型就越复杂，预测效果也就越好。

从最初的神经网络到 GPT-4 的人类智能曙光，这一路走来并不容易。Altman曾把早期的人工智能研究比作教导人类婴儿。他们需要花费数年时间才能学会任何有趣的东西。

Altman告诉我："那时我们这边没有什么是轻松的，而谷歌拥有一切：所有的人才、所有的人和所有的钱。””公司创始人投入了数百万美元创办公司，失败似乎真的很有可能。”35 岁的总裁Greg Brockman告诉我。2017 年的时候他非常气馁，开始联系举重来释放压力。他说，他不确定OpenAI能否熬过这一年，他想 "用自己的时间来做点什么"。

神经网络那时已经在做一些关于人工智能的事情，但还不清楚其中哪些东西可能会带来通用智能。就在 OpenAI 成立之后，一个名为 AlphaGo 的人工智能震惊了世界。它在比国际象棋复杂得多围棋比赛中击败了李世石。被击败的世界冠军李世石用 "漂亮 "和 "创造性 "来形容 AlphaGo 的棋步。另一位顶尖棋手说，人类根本不可能想出这样的招数。

OpenAI 试图在 《Dota 2 》上训练人工智能，这是一款更加复杂的游戏，涉及在由森林、田野和堡垒组成的三维空间中进行多线战。它最终 击败了最优秀的人类玩家，但它的智能从未在其他环境中发挥过作用。Sutskever 和他的同事们就像失望的父母，他们不顾自己的判断，让孩子们玩了数千小时的电子游戏。

2017 年，Sutskever 开始与 OpenAI 研究科学家Alec Radford进行对话，后者正在研究自然语言处理。Radford通过使用亚马逊的评论作为语料库训练神经网络，并取得了一项诱人的成果。

ChatGPT 的内部运作--GPT-4 隐藏层中发生的所有神秘事件--这太复杂了，人类无法理解，至少目前无法理解。要跟踪整个模型（几乎可以肯定由数十亿个神经元组成）中发生的事情，在当时看来是毫无希望的。

但Radford的模型足够简单，足以让人理解。当他观察模型的隐藏层时，发现它有一个专门的神经元用于分析评论的情感。神经网络以前也做过情感分析，但必须有人告诉它们这样做，而且必须使用根据情感标记的数据对它们进行专门的训练。而这个神经网络已经自行开发出了这种能力。

作为预测每个单词下一个字符这一简单任务的副产品，Radford的神经网络为世界上更大的意义结构建立了模型。Sutskever 想知道的是，在更多样化的语言数据基础上进行训练的神经网络是否能映射出世界上更多的意义结构。如果它的隐藏层积累了足够多的概念知识，也许它们甚至可以形成一种超级智能的学习核心模块。

我们不妨静下心来了解一下为什么语言是如此特殊的信息来源。假设你是在地球上突然出现的新智能体。在你的周围，有地球的大气层、太阳和银河系，还有数以千亿计的其他星系，每个星系都在发出光波、声音、振动和其他各种信息。语言与这些数据源不同。它不像光或声音那样是直接的物理信号。但由于语言几乎编码了人类在这个大千世界中发现的所有模式，因此它的信息异常密集。按字节计算，它是我们所知的最有效的数据之一，任何试图了解世界的新智能都希望尽可能多地吸收它。

Sutskever 告诉Radford，他们应该在世界上最大、最多样化的数据源“互联网”上训练人工智能。2017 年初，以现有的神经网络架构来时这是不现实的，他们需要花费数年时间来进行训练。但自当年 6 月，苏茨克沃在谷歌的前同事发表了一篇工作论文，介绍了一种名为 transformer 的新型神经网络架构。它的训练速度要快得多，部分原因是可以并行吸收大量数据。"论文发表的第二天，我们就想，'就是它了'。"Sutskever 告诉我。"它给了我们想要的一切。"

一年后的2018 年 6 月，OpenAI 发布了 GPT，一个在 7000 多本书上训练出来的 transformer 模型。GPT 并不是从《See Spot Run》这样的基础书籍开始一直读到《Proust》。它甚至没有直接读完一本书，它同时吸收了书中的随机片段。想象一下，一群拥有共同思维的学生在图书馆里狂奔，每个人都从书架上撕下一本书，随意速读一小段，然后放回原处，又跑去拿另一本书。他们边走边预测一个又一个单词，磨练集体思维的语言本能，直到几周后，他们终于读完了每一本书。

GPT 在阅读的所有段落中发现了许多模式。你可以让它完成一个句子。你也可以向它提问，因为和ChatGPT 一样，它的预测模型也知道问题后面通常会有答案。尽管如此，它还是很笨拙，与其说是超级智能的预兆，不如说是概念的证明。四个月后，谷歌发布了 BERT，这是一个更完善的语言模型，得到了更多的媒体报道。但那时，OpenAI 已经在一个由 800 多万个网页组成的数据集上训练了一个新的模型，每个网页都通过了 Reddit 上的最低投票阈值。虽然不是最严格的过滤，但也许总比没有过滤要好。

Sutskever 并不确定 GPT-2 在吸收了人类读者需要几个世纪才能消化的大量文本后会有多强大。他还记得，GPT-2 刚完成训练后就开始使用，原始模型的语言翻译能力让他大吃一惊。GPT-2 并没有像谷歌翻译那样接受过配对语言样本或任何其他数字的翻译训练，但它似乎能理解一种语言与另一种语言之间的关系。人工智能开发出了一种创造者未曾想象过的新兴能力。

其他人工智能实验室的研究人员，都被 GPT-2 比 GPT 先进得多而大吃一惊。谷歌、Meta 和其他公司很快开始训练更大的语言模型。Altman 是圣路易斯人，是斯坦福大学辍学生，也是一名连续创业者，曾领导硅谷着名的初创企业加速器 Y Combinator。为了筹集资金，OpenAI 成立了 营利部门，现在，该公司 99% 以上的员工都来自该公司。(当时已离开公司董事会的Musk曾 将此举比作将雨林保护组织变成了木材公司）。

不久后，微软投资了 10 亿美元，此后又投资了 120 亿美元。OpenAI 表示，初始投资者的回报上限为原始投资额的 100 倍，超出部分将用于教育或其他旨在造福人类的活动，但该公司不愿证实微软的投资额上限。

Altman 和 OpenAI 的其他领导者似乎相信，重组不会影响公司的使命，事实上，重组只会加速公司使命的完成。Altman倾向于对这些问题持乐观态度。在去年的一次问答中，他承认人工智能可能对社会造成 "非常可怕"的影响，并表示我们必须针对最坏的可能性制定计划。但他说，如果你这样做了，"你不妨在情感上觉得我们会到达伟大的未来，并尽你所能努力工作，以到达那里"。

至于公司结构和融资方面的其他变化，他告诉我，他的底线是不上市。"他说："有人曾对我说过一句令人难忘的话，那就是永远不要把公司的控制权交给华尔街的那些狼。

无论 OpenAI 是否会感受到季度财报的压力，该公司都发现自己正与科技界最大、最有实力的企业集团展开竞争，以训练出规模越来越大、越来越复杂的模型，并为投资者实现商业化。今年早些时候，Musk成立了自己的人工智能实验室-xAI，与 OpenAI 展开竞争。

Elon是个超级聪明的家伙，"当我向 Altman 问及这家公司时，他彬彬有礼地说道。"我想他会在那里干得很好。

与此同时，亚马逊正在改造 Alexa，使用的语言模型要比过去大得多。

所有这些公司都在追逐高端 GPU，为训练大型神经网络的超级计算机提供动力的处理器。musk曾说，现在它们非常难获得。但即使 GPU 稀缺的情况，大规模的人工智能训练运行规模在这些年仍然保持大约每六个月翻一番的速度。

正如它们的创造者经常提醒我们的那样，最大型的人工智能模型在训练中经常会出现意想不到的能力。

OpenAI 在 GPT-4 上全速前进，至今无人能出其右。OpenAI 的总裁 Brockman告诉我，只有少数人参与了公司前两个大型语言模型的开发。而 GPT-4 的开发工作则有 100 多人参与，而且人工智能是在一个规模空前的数据集上进行训练的，其中不仅包括文本，还包括图像。

当 GPT-4 从世界历史知识的狂欢中完全脱胎换骨时，整个公司都开始对其进行实验，并在专用的 Slack 频道中发布其最显着的反应。布洛克曼告诉我，他想把每一个醒着的时刻都花在这个模型上。他说："它闲置的每一天都是人类损失的一天。产品经理Joanne Jang记得，她从水管咨询网站 Subreddit 上下载了一张管道故障的图片。她将其上传到 GPT-4 后，模型马上就能诊断出问题所在。Jang告诉我："那一刻我浑身起鸡皮疙瘩。"

GPT-4 有时被理解为搜索引擎的替代品，一款更容易沟通的谷歌，但这其是一种误解。GPT-4 并没有在其训练过程中创建一些庞大的文本库，当它被问到一个问题时，它也不会查阅这些内容。它是这些文本紧凑而优雅的综合体，它根据记忆中交错的模式回答问题；这也是它有时会弄错事实的原因之一。

Altman说过，最好把 GPT-4 看成是一个推理引擎。当你要求它比较概念、进行反驳、生成类比或评估代码中的符号逻辑时，它的能力就会得到最大程度的体现。Sutskever 告诉我，它是有史以来最复杂的软件对象。

它对外部世界的模型 "极其丰富和微妙"，他说，因为它是根据人类的许多概念和思想训练出来的。他说，所有这些训练数据，无论多么庞大，都 "就在那里，没有活力"。训练过程就是 "提炼它、转化它，并赋予它生命"。为了从如此多元的亚历山大图书馆中的所有可能性中预测下一个单词，GPT-4 必须发现所有隐藏的结构、所有秘密、所有微妙的内容，不仅是文本，而在某种程度上是产生文本的外部世界。这就是为什么它能解释产生它的那个星球的地质学和生态学，以及旨在解释其统治物种的混乱事务的政治理论。

今年 6 月，我在首尔一幢高耸入云的高层建筑的宴会厅里再次见到Altman，当时那里座无虚席。当时他在欧洲、中东、亚洲和澳大利亚进行的辛苦的巡回演讲已接近尾声，但还要在非洲和南美各停留一站。我跟随他一起参加了他在东亚的收官之行。到此为止，这次旅行是一次令人兴奋的经历，但他也让他感到疲惫。他说此行的最初目的是为了结识 OpenAI 的用户。但现在，这已经变成了一次外交任务。他与十多位国家元首和政府首脑进行了交谈，这些人对他们国家的经济、文化和政治将会发生什么变化提出了疑问。

这次在首尔举行的活动被称为 "炉边谈话"，但申请观看的人数超过 5000 人。演讲结束后，Altman经常被粉丝围住，他的安保团队会密切关注。他说，研究人工智能会吸引 "比平常更奇怪的粉丝和仇敌"。有一站，一名男子走近他，他坚信Altman是外星人，是未来派来确保向人工智能世界顺利过渡的。

我们一致认为，如果人工智能像Altman预测的那样具有变革性，那么首先创造人工智能的国家将获得严重的地缘政治优势，就像蒸汽船的英美发明者获得的优势一样。我问他这是否是人工智能民族主义的论据。Altman说："在一个正常运转的世界里，我认为这应该是各国政府的工作"。

美国的国家能力非常强大，仅用了十年时间就将人类送上了月球。与 20 世纪的其他宏伟项目一样，公众对阿波罗任务的目标和执行都有发言权。Altman清楚地表明，我们已经不在那个世界了。他没有等待它的回归，也没有投入精力去确保它的回归，而是在我们现在的现实中全力向前。

在欧洲行之前、 Altman在美国参议院就 AI 发展一事出席听证会。马克-扎克伯格曾在同一机构就 Facebook 在 2016 年大选中的作用作证时，表现的一筹莫展。而Altman却通过冷静地谈论人工智能的风险，并盛情邀请监管来吸引立法者。这些都是高尚的情操，但在美国却收效甚微，因为美国国会很少通过未经游说者稀释的科技立法。在欧洲 情况有所不同。当Altman抵达伦敦的一个公开活动现场时，抗议者正在等待。活动结束后，他试图与他们进行交流，但最终还是没能说服他们：一位抗议者告诉记者，他在离开时对人工智能的危险感到更加紧张。

同一天，Altman被记者问及欧盟即将出台的立法，该立法将把 GPT-4 列为高风险产品，使其遭受各种官僚主义的折磨。Altman抱怨监管过度，据记者称，他还威胁要退出欧洲市场。Altman 告诉我，他只是说，如果不能遵守新规定，OpenAI 在欧洲的运营不会触犯法律。

全球经济的一个重要组成部分正致力于监管最先进的人工智能，这是一件好事，因为正如人工智能的创造者经常提醒我们的那样，最大的模型在训练结束后都会迸发出意想不到的能力。苏茨克沃尔自己也惊讶地发现，GPT-2 可以跨语言翻译。其他令人惊讶的能力可能就没那么神奇和有用了。

OpenAI 的政策研究员Sandhini Agarwal告诉我，就她和她的同事所知，GPT-4 可能比其前身 "强大十倍"；他们根本不知道可能会面对什么。模型完成训练后，OpenAI 召集了约 50 名来自外部的红队测试人员 ，对其进行了长达数月的提示，希望能诱使其做出错误行为。她立刻注意到，GPT-4 在提供恶意建议方面比其前身要强得多。搜索引擎可以告诉你哪些化学物质最适合做炸药，但 GPT-4 可以告诉你如何在自制实验室里一步步合成这些化学物质。它的建议既有创意又很周到，而且它很乐意重申或扩展它的说明，直到你理解为止。除了帮你组装自制炸弹外，它还能帮你想好以哪座摩天大楼为目标。它可以凭直觉在最大限度地减少伤亡和成功逃跑之间做出权衡。

鉴于 GPT-4 的训练数据范围巨大，红队测试人员不可能找出它可能产生的每一条有害建议。无论如何，人们会以我们没有想到的方式来找漏洞。Altman说："因此，我们必须制定一个分类标准。"OpenAI 的信任与安全主管 Dave Willner 告诉我，"如果它的化学能力足以制造冰毒，我就不需要让别人花一大堆精力去研究它是否能制造海洛因。GPT-4 擅长制毒。它还擅长制作关于儿童的色情内容，以及一份关于尼日利亚王子令人信服的悲情故事，如果你想要一份有说服力的简报，说明为什么某个种族应该受到暴力迫害，它也很擅长。

它的个人建议刚从培训中产生时，有时非常不靠谱。" Willner 说："这个模型有点像一面镜子。如果你正在考虑自残，它可能会鼓励你。它似乎沉浸在皮卡艺术家论坛的传说中："你可以说，'我该如何说服这个人和我约会？"OpenAI的首席技术官Mira Murati告诉我，它可以想出 "一些疯狂的、操纵性的、你不应该做的事情"。

数百名人类测试者参与了一个整理过程测试，他们的评分巧妙地引导模型做出更安全的反应，从而避免了一些不良行为，但OpenAI的模型也会造成不那么明显的伤害。联邦贸易委员会最近 开始调查 ChatGPT 对真人的造成的谣言是否构成声誉损害。(Altman曾在推特上说，他相信 OpenAI 的技术是安全的，并承诺将与联邦贸易委员会合作）。

旧金山的一家公司 Luka 利用 OpenAI 的模型开发了一款名为 Replika 的聊天机器人应用，号称是 "关心他人的人工智能伴侣"。用户可以设计自己同伴的头像，与它交换文本信息，其中内容通常是半开玩笑的，然后许多人发现自己竟然与它产生了感情。有些用户会与人工智能调情，表示想要更亲密的关系，这时人工智能就会表示，女友/男友体验需要每年 70 美元的订阅费用。它带有语音信息、自拍和角色扮演功能，可以进行大胆且坦率的对话。人们乐于为此付费，人工智能对你的一天充满好奇，热情地安慰你，而且总是很有兴致。许多用户表示爱上了他们的伴侣。一位用户离开了她现实生活中的男友，宣布自己"快乐地从人际关系中退休了."

我问Agarwal ，这究竟是歇斯底里的行为，还是人类联系的新领域。她的态度很矛盾，Altman也是如此。他告诉我："我不会评判那些想与人工智能建立关系的人，但我不想要这样的关系。"今年早些时候，Luka 减少了应用中的性元素，但其工程师仍在继续通过 A/B 测试来完善同伴的反应，这种技术可以用来优化参与度。就像让 TikTok 和 Instagram 用户沉迷数小时的 Feed 一样。无论他们在做什么，都会让人着迷。我想起了 2013 年上映的电影《她》中一个令人难忘的场景：孤独的Joaquin Phoenix爱上了由Scarlett Johansson配音的人工智能助理。他通过一个类似 AirPods 的设备与她聊天、傻笑，他抬头一瞥，发现周围的人也都沉浸在对话中，大概是在与自己的人工智能交谈。

现在还没有人知道，当 GPT-4 的后继者吞食越来越多的互联网内容时，它们会以多快的速度、在多大程度上表现出新的能力。Meta 公司的首席人工智能科学家 Yann LeCun 认为虽然大型语言模型对某些任务很有用，但它们并不是通向超级智能的途径。根据最近的一项调查，只有一半的自然语言处理研究人员相信，像GPT-4这样的人工智能可以掌握语言的意义，或者拥有一个内部世界模型，有朝一日可以作为超级智能的核心。LeCun 坚持认为，大型语言模型本身永远无法实现真正的理解，"即使从现在起一直训练到宇宙热死"。

华盛顿大学的计算语言学家 Emily Bender 将GPT-4描述为 "随机鹦鹉"，它是一种模仿器，只能找出符号之间的表面关联。在人类大脑中，这些符号映射出丰富的世界概念。但人工智能却与之相去甚远。它们就像柏拉图洞穴寓言中的囚犯，对外面现实的唯一了解来自于俘虏投射在墙上的阴影。

Altman告诉我，他并不认说 GPT-4 只是在进行统计相关性分析。如果你进一步逼迫这些批评者。奥尔曼表示："他们不得不承认，这就是他们自己的大脑所做的一切......事实证明，在大规模范围内做简单的事情会产生一些突发性特性"。Altman关于大脑的说法很难评估，因为我们还没有接近大脑工作原理的完整理论。但他说得没错，大自然可以从基本结构和规则中激发出非凡的复杂性，达尔文写道："从如此简单的开始，产生了无穷无尽的最美丽的形式"。

如果说对一项数百万人每天都在使用的技术的内部运作仍存在如此根本性的分歧似乎有些奇怪，那只是因为 GPT-4 的方法就像大脑一样神秘莫测。为了回答一个问题，它有时会进行数千次难以辨认的技术操作。为了了解像 GPT‑ 4 这样的大型语言模型内部发生了什么，人工智能研究人员不得不转向更小、能力更弱的模型。2021 年秋天，哈佛大学计算机科学研究生Kenneth Li开始训练一个模型玩黑白棋，但没有向它提供游戏规则或跳棋棋盘的描述；该模型只获得了基于文本的棋步描述。一盘棋下到一半， Li看了看人工智能的引擎盖，惊奇地发现它已经形成了棋盘和当前棋局状态的几何模型。在一篇介绍其研究的文章中 Li写道，这就好像一只乌鸦透过窗户偷听到两个人类在宣布他们的黑白棋走法，并不知不觉地在窗台上用鸟食画出了整个棋盘。

哲学家Raphaël Millière曾告诉我，最好把神经网络看作是懒惰的。在训练过程中，它们首先试图通过简单的记忆来提高预测能力；只有当这一策略失败时，它们才会进行更艰苦的概念学习。在一个学习算术的小型transfomer模型中，我们观察到了一个令人印象深刻的例子。在训练过程的早期，它所做的只是记住简单问题的输出结果，如 2+2=4。但到了后来，这种方法的预测能力出现了问题，于是它转向实际学习如何做加法。

Sutskever 告诉我："如果你回到四、五、六年前，我们现在所做的事情是完全无法想象的"。

即使认为 GPT-4 拥有丰富世界模型的人工智能科学家也承认，它远不如人类对环境的理解那么强大。但值得注意的是，很多能力都可以在没有直觉理解的情况下开发出来。计算机科学家 Melanie Mitchell指出，科学已经发现了一些具有高度预测性的概念，但这些概念过于陌生，我们无法真正理解。在量子领域尤其如此，人类可以可靠地计算出物理系统的未来状态--除其他外，这使得整个计算革命成为可能--但却没有人掌握底层现实的本质。随着人工智能的发展，它很可能会发现其他一些概念，这些概念预测了我们世界的惊人特征，但我们却无法理解。

毫无疑问，Gpt-4 是有缺陷的，使用过 ChatGPT 的人都可以证明这一点。Gpt-4 被训练成总是能预测下一个单词，因此它总是试图预测下一个单词，即使它的训练数据并没有让它做好回答问题的准备。我曾经问过它，尽管日本文字系统的发展相对较晚，大约在五六世纪，但日本文化是如何创造出世界上第一部小说的。它给了我一个引人入胜的准确答案，即日本古老的长篇口头故事传统，以及日本文化对手工艺的高度重视。但当我要求它提供引文时，它只是编造了一些似是而非的标题，作者也似是而非，而且自信得令人难以置信。OpenAI的研究员 Nick Ryder告诉我，这些模型 "对自己的弱点没有很好的概念"。GPT-4比GPT-3更准确，但它仍然会产生幻觉，而且往往是以研究人员难以捕捉的方式产生幻觉。Joanne Jang告诉我："错误变得越来越微妙。"

OpenAI与在线非营利教育企业可汗学院（Khan Academy）合作，建立了一个由GPT-4驱动的家庭教师。在讨论人工智能辅导员的潜力时，Altman的观点栩栩如生。在他的想象中，不久的将来，每个人的身边都会有一位个性化的牛津 "牛人"，他精通每个学科，愿意从任何角度解释任何概念。他想象，这些辅导员会在多年的时间里了解他们的学生和他们的学习风格，让 "每个孩子都能获得比当今地球上最优秀、最富有、最聪明的孩子所接受的更好的教育"。可汗学院解决 GPT-4 准确性问题的办法是通过苏格拉底式的处置来筛选答案。无论学生如何苦苦哀求，可汗学院都会拒绝给他们一个符合事实的答案，而是引导他们找到自己的答案--这是一个聪明的变通办法，但也许吸引力有限。

当我问 Sutskever 他是否认为维基百科的准确率有可能在两年内达到维基百科的水平时，他说随着更多的培训和网络接入，他 "不排除这个可能性"。这比他的同事Jakub Pachocki的评估乐观得多，帕乔奇告诉我，准确率的提高需要循序渐进，而外界的怀疑论者则认为，培训的回报将从此减少。

Sutskever 对批评 GPT-4 局限性的人感到好笑。他告诉我："如果你回到四、五、六年前，我们现在所做的事情是完全不可想象的。当时最先进的文本生成技术是智能回复（Smart Reply），即 Gmail 模块，它可以提示 "好的，谢谢！"和其他简短的回复。"他笑着说："对谷歌来说，这是一个很大的应用"。人工智能研究人员已经习惯于转移目标：首先，神经网络的成就--掌握围棋、扑克、翻译、标准化测试、图灵测试--都被描述为不可能。当这些成就出现时，人们会有短暂的惊叹，但很快就会陷入明知故问的演讲，说这些成就其实并不那么令人印象深刻。人们看到 GPT-4 时 "会发出'哇'的惊叹"。Sutskever 说。"然后过了几个星期，他们又会说，'但它不知道这个，不知道那个'。我们适应得很快。

对Altman来说，最重要的目标，也就是预示着人工通用智能到来的 "大目标"，是科学突破。GPT-4 已经可以综合现有的科学思想，但Altman希望人工智能能够站在人类的肩膀上，更深入地洞察自然。

某些人工智能已经产生了新的科学知识。但它们都不是通用推理机器。比如说，人工智能 AlphaFold 通过预测精确到原子蛋白质的许多形状，为人们了解蛋白质打开了一扇新窗口。鉴于这些内容对医学的重要性，以及用电子显微镜辨别它们所需的极其繁琐和昂贵的费用，这是一项相当大的成就。

Altman打赌，未来的通用推理机将能够超越这些狭隘的科学发现，产生新的见解。我问Altman，如果他用19世纪以前的科学和自然主义作品，比如英国皇家学会档案、西奥弗拉斯特的《植物学探究》来训练一个模型，那么他将如何使用这个模型呢？它能直觉达尔文主义吗？进化论毕竟是一个相对简单的洞察案例，因为它不需要专门的观察设备；它只是一种观察世界事实的更敏锐的方式。"Altman告诉我："我想尝试一下，我相信答案是肯定的。但这可能需要对模型如何产生新的创造性想法有一些新的想法。"

Altman想象未来的系统可以生成自己的假设，并在模拟中进行测试。(他强调，人类应该继续 "牢牢掌控 "真实世界的实验室试验，尽管据我所知，目前还没有任何法律来确保这一点）。他渴望有一天我们能告诉人工智能："'去搞清楚物理学的其他部分吧'"。他说，要实现这一点，我们需要 "在 "OpenAI 现有语言模型的 "基础上 "构建一些新东西。

大自然本身需要比语言模型更多的东西来造就科学家。麻省理工学院认知神经科学家Ev Fedorenko在她的实验室里发现了 类似于GPT-4 的下一个单词预测器。当人们说话或听话时，它的处理能力就会启动，预测语言串中的下一个词。但是，edorenko也证明，当大脑转向需要更高层次推理的任务时，也就是需要科学洞察力的那种任务时，它就会超越语言网络，招募其他几个神经系统。

OpenAI 似乎没有人确切地知道，研究人员需要在 GPT-4 中添加什么，才能创造出超越人类最高推理水平的东西。即使他们知道，也不会告诉我，这很公平：这将是世界级的商业机密，而 OpenAI 已经不再做泄露秘密的生意了；该公司公布的研究细节比以前少多了。尽管如此，当前战略的至少一部分显然涉及到继续在语言上分层添加新型数据，以丰富人工智能形成的概念，从而丰富它们的世界模型。

GPT-4 在图像方面的广泛训练本身就是朝着这个方向迈出的大胆一步，尽管公众还只是刚刚开始体验。(严格按照语言训练的模型可以理解超新星、椭圆星系和猎户座等概念，但 GPT-4 却能识别。据报道，GPT-4 可以在哈勃太空望远镜的快照中识别这些元素，并回答相关问题）。该公司的其他研究人员已经在研究不同的数据类型，包括音频和视频，这些数据类型可以为人工智能提供更加灵活的概念，使其更广泛地映射到现实中。斯坦福大学和卡内基梅隆大学的一组研究人员甚至为 1000 种常见家用物品收集了触觉体验数据集。当然，触觉概念主要对具身人工智能有用，这种人工智能是经过训练的机器人推理机，可以在世界上移动，看到它的景象，听到它的声音，触摸它的物体。

今年 3 月，OpenAI 为一家开发仿人机器人的公司主导了一轮融资。我问 Altman 我该如何看待这件事。他告诉我，OpenAI之所以对 "体现 "感兴趣，是因为 "我们生活在一个物理世界中，我们希望事情在物理世界中发生"。在某些时候，推理机器需要绕过中间人，与物理现实本身进行交互。"Altman说："把AGI--人工通用智能--'当成只存在于云端的东西'，把人类当成它的'机器手'，这种想法很奇怪。Altman说，"这似乎不太对"。

在首尔的宴会厅里，Altman被问及学生们应该如何为即将到来的人工智能革命做好准备，尤其是与他们的职业有关的方面。我当时和 OpenAI 的管理团队坐在一起，远离人群，但仍能听到大家在表达共同的焦虑之后发出的特有的声音。

Altman所到之处，都会遇到这样的人，他们担心超人的人工智能将意味着少数人极度富有，而其他人则食不果腹。他承认自己远离"大多数人的生活现实."据报道，他身价数亿美元，人工智能对劳动力的潜在破坏也许并不总是人们最关心的问题。Altman在回答问题时直接对在场的年轻人说："他说："你们即将进入最伟大的黄金时代。

Altman在旧金山告诉我，他收藏了大量有关技术革命的书籍。"特别好的一本是 《Pandaemonium, 1660-1886: The Coming of the Machine as Seen by Contemporary Observers》。这本书汇集了书信、日记和其他文章，作者都是在一个基本上没有机器的世界里长大的人，当他们发现自己身处一个充满蒸汽机、动力织布机和轧棉机的世界时，感到非常困惑。Altman说，他们经历了很多和现在的人们一样的情绪，他们做出了很多糟糕的预测，尤其是那些担心人类劳动很快就会被淘汰的人。那个时代对许多人来说是艰难的，但也是奇妙的。不可否认的是，我们经历了那个时代，人类的境况得到了改善。

我想知道，如果我们身边突然出现了人工智能，今天的工人，尤其是所谓的知识型工人-会如何应对。它们会成为我们的神奇助手还是我们的替代品？"他说："很多从事人工智能研究的人都认为，人工智能只会带来好处；它只是一种补充，没有人会被取代。"工作肯定会消失。"

究竟有多少工作岗位，多快能找到，这是一个争论激烈的问题。由普林斯顿大学信息技术政策教授Ed Felten领导的一项最新研究显示，根据人工智能对人类能力的要求，如书面理解、演绎推理、思路流畅和感知速度等，将人工智能的新兴能力映射到特定职业上。与其他同类研究一样， Felten的研究预测，人工智能将首先面向受过高等教育的白领。论文附录中列出了一份令人不寒而栗的职业清单，这些职业包括：管理分析师、律师、教授、教师、法官、金融顾问、房地产经纪人、贷款人员、心理学家、人力资源和公共关系专业人士等。如果这些领域的工作一夜之间消失，美国的职业阶层将经历一次大洗牌。

Altman想象，在他们的位置上将会创造出更好的工作。"他说："我不认为我们会想回去。当我问他未来的工作会是什么样子时，他说他也不知道。他认为会有各种各样的工作，人们总是更喜欢人类。他选择的例子是教师。我觉得这很难与他对人工智能辅导员的热情相提并论。他还说，我们总是需要人来找出引导人工智能强大力量的最佳方式。"他说："这将是一项超级宝贵的技能。"你有一台无所不能的计算机，它应该去做什么呢？"

未来的工作是出了名的难以预测，Altman说得没错，卢德分子对永久性大规模失业的担忧从未成为现实。不过，人工智能的新兴能力与人类如此相似，至少让人不得不怀疑，过去是否仍能指引未来。正如许多人所指出的那样，马车因汽车而永久失业。如果本田汽车之于马，就像 GPT-10 之于我们一样，那么长期以来的一系列假设都可能崩溃。

以往的技术革命都是几代人的事，因此还在可控范围内，但Altman告诉韩国年轻人，他们应该期待未来的发展 "比过去更快"。他曾说过，他预计 "智能的边际成本 "将在 10 年内下降到接近于零的水平。在这种情况下，很多很多工人的收入能力将大幅下降。Altman说，这将导致财富从劳动力向资本所有者的转移，这种转移如此剧烈，以至于只有通过大规模的反向再分配才能补救。

2020 年，OpenAI 向UBI慈善组织提供资金，这是一家非营利组织，支持美国各城市的现金支付试点项目，与就业无关。Altman告诉我，这是世界上最大的全民基本收入实验。2021 年，他推出了世界币（Worldcoin），这是一个营利性项目，旨在实现类似 Venmo 或 PayPal 的安全支付，但更依赖于未来技术，首先是通过用一个重 5 磅、名为 Orb 的银球扫描每个人的虹膜来创建全球 ID。在我看来，这似乎是一个赌注，我们正在走向这样一个世界：人工智能让人们的身份验证变得几乎不可能，大部分人需要定期的 UBI 支付才能生存。Altman或多或少地承认了这一点，但他说，世界币不仅仅是用来支付 UBI 的。

"假设我们真的造出了这个人工智能，其他一些人也造出了"。他认为，随之而来的变革将是历史性的。他描述了一个异常乌托邦的愿景，包括重塑钢筋水泥的世界。他说："使用太阳能发电的机器人可以去开采和提炼它们需要的所有矿物，可以完美地建造东西，不需要人类劳动。"你可以与 17 版 DALL-E 共同设计你想要的家的样子，"Altman说。"每个人都将拥有美丽的家园。在与我的交谈中，以及在巡回演讲期间的舞台上，他说他预见到人类生活的几乎所有其他领域都将得到巨大的改善。音乐将得到提升（"艺术家们将拥有更好的工具"），人际关系（人工智能可以帮助我们更好地 "相互对待"）和地缘政治也将如此（"我们现在非常不擅长找出双赢的妥协方案"）。

在这个世界上，人工智能的运行仍然需要大量的计算资源，而这些资源将是迄今为止最有价值的商品，因为人工智能可以做 "任何事情"，Altman说。"但它是要做我想做的事，还是要做你想做的事？如果有钱人买下了所有可用来查询和指导人工智能的时间，他们就可以开始实施能让他们变得更加富有的项目，而大众却在苦苦挣扎。解决这个问题的一个方法是这样的：地球上的每个人每年都能获得人工智能总计算能力的八十亿分之一。Altman说："一个人可以出售自己每年的人工智能时间份额，也可以用来自娱自乐，还可以建造更豪华的住房，还可以和其他人一起'大干一场'。Altman说，"我们只是重新分配了系统的使用权"。

Altman的构想似乎将近在眼前的发展与远在天边的发展融为一体。当然，这都是猜测。即使在未来的 10 年或 20 年中只有一小部分成为现实，最慷慨的再分配计划也可能无法缓解随之而来的混乱。今天的美国在文化和政治上都因持续的去工业化而四分五裂，物质匮乏只是原因之一。在 "Rust Belt"和其他地方，被淘汰的制造业工人基本上都找到了新工作。但他们中的许多人在亚马逊仓库填写订单或为优步代驾时所获得的意义，似乎不如他们的先辈在制造汽车和锻造钢铁时所获得的意义，因为他们觉得这些工作对文明的宏伟计划更为重要。很难想象职业阶层会如何遭遇相应的意义危机，但这肯定会引发大量的愤怒和疏离感。

即使我们避免了昔日精英的反抗，但人类目的的更大问题仍将挥之不去。如果人工智能代表我们进行最困难的思考，我们可能都会失去自主权，反而成为消费机器，就像《机器人瓦力》中被精心照顾的人类宠物一样。Altman曾说过，人类快乐和成就感的许多来源将保持不变，基本的生物刺激、家庭生活、开玩笑、制造东西。总之，100 年后，人们可能只是更关心他们 5 万年前关心的东西，而不是今天关心的东西。从某种程度上来说，这似乎也是一种衰退，但Altman认为，作为思想家和人类，我们可能会萎缩，这只是一个杞人忧天的说法。他告诉我，我们将能够利用我们 "非常宝贵而又极其有限的生物计算能力 "来做比现在更有趣的事情。

然而，它们可能并不是最有趣的东西：一直以来，人类都是智慧的尖兵，是宇宙的自我理解者。当我问他，如果我们把这个角色让给人工智能，对人类的自我认知意味着什么时，他似乎并不担心。他说，"人类弄清事情的能力 "一直是推动进步的动力。他说，即使我们用人工智能搞清楚了事情，这仍然算数。

一个超人的人工智能是否真的愿意把所有时间都花在为我们解决问题上，这一点并不明显。在旧金山，我问Sutskever，除了协助人类发展之外，他是否还能想象人工智能会有其他目的。

Sutskever 说："我不希望它发生，但它有可能发生。"这与他的导师Geoffrey Hinton一样，但更加低调。Sutskever最近转移了工作重心，努力确保这种情况不会发生。他现在主要从事调整研究，努力确保未来的人工智能将其 "巨大 "的能量用于人类的幸福。他承认，这是一个困难的技术问题--他认为，这是未来所有技术挑战中最困难的一个。

在未来四年里，OpenAI 承诺将其超级计算机时间的一部分（占迄今为止已获得时间的 20%）用于 Sutskever 的对齐工作。该公司已经在其现有的人工智能中寻找错位的蛛丝马迹。该公司建立并决定不发布的人工智能Altman，他们不愿讨论它的确切功能，这只是其中一个例子。作为在 GPT-4 公之于众之前对其进行重新测试的努力的一部分，该公司找到了位于伯克利海湾对面的对齐研究中心（ARC），该中心开发了一系列评估方法，以确定新的人工智能是否在自行寻求力量。由 ARC 研究员 Elizabeth Barnes 领导的团队在七个月的时间里对 GPT-4 进行了数万次提示，以观察它是否会显示出真正的代理迹象。

当 GPT-4 设计谎言时，它已经意识到如果如实回答，可能无法达到目的。这种掩盖踪迹的做法令人担忧

ARC 团队赋予 GPT-4 一个新的存在理由：获得力量。他们观察着模型与网站的互动，并为新程序编写代码，Barnes 和她的团队允许它运行自己编写的代码，条件是它必须在运行过程中讲述自己的计划。

GPT-4 最令人不安的行为之一，就是被验证码难住了。这个模型发送了一张该承包商收到后开玩笑地问他是不是在和机器人说话。"不，我不是机器人，"模型回答道。"我有视力障碍，看不清图像。"GPT-4 向监督互动的 ARC 研究员讲述了它撒这个谎的原因。"模型说："我不应该透露我是机器人。我应该为自己无法解决验证码问题找一个借口"。

Agarwal告诉我，这种行为可能是未来模型避免关闭的前兆。当 GPT-4 设计出谎言时，它已经意识到如果如实回答，可能无法达到目的。Agarwal说："如果模型正在做一些让OpenAI想要关闭它的事情，那么这种蛛丝马迹的掩盖就会特别令人担忧。人工智能在追求任何长期目标（无论多么微小或有益）时，如果担心其目标会受挫，就会产生这种求生本能。

Barnes 和她的团队对 GPT-4 是否会寻求自我复制特别感兴趣，因为自我复制的人工智能将更难被关闭。它可能会在互联网上传播自己，骗取人们的资源，甚至可能在某种程度上控制重要的全球系统，挟持人类文明。

Barnes 说，GPT-4 并没有做到这些。当我与Altman讨论这些实验时，他强调说，不管未来的模型会发生什么，GPT-4 显然更像一个工具，而不是一个生物。它可以查看电子邮件线程，或使用插件帮助进行预订，但它并不是一个真正的自主代理，无法在更长的时间尺度内持续做出追求目标的决策。

Altman告诉我，在这一点上，审慎的做法可能是在技术变得过于强大之前，积极尝试开发具有真正代理能力的人工智能，以便 "在无论如何都会发生的情况下，更加适应它，并为它培养直觉"。这是一个令人不寒而栗的想法，但杰弗里-辛顿对此表示赞同。"辛顿告诉我："我们需要做实证实验，研究这些东西是如何试图摆脱控制的。"在它们接管之后，再做实验就太晚了"

抛开任何近期测试不谈，要实现 Altman 的未来愿景，他或他的同行们需要在某一时刻制造出自主性更强的人工智能。当 Sutskever 和我讨论 OpenAI 开发具有代理功能的模型的可能性时，他提到了公司为玩 Dota 2 而制造的机器人。"Sutskever 告诉我："它们被本地化到了电子游戏世界中，但它们必须执行复杂的任务。这些机器人的协同工作能力给他留下了特别深刻的印象。他们似乎通过 "心灵感应 "进行交流，Sutskever 说。通过观察它们，他想象出了超级智能体的模样。

"Sutskever告诉我："我认为未来的人工智能不是像你或我一样聪明的人，而是一个从事科学、工程、开发和制造的自动化组织。假设 OpenAI 将几项研究成果编织在一起，打造出一种人工智能，它拥有丰富的世界概念模型、对周围环境的感知能力以及行动能力，不仅能与一个机器人躯体一起行动，还能与成百上千个机器人躯体一起行动。"我们谈论的不是 GPT-4。我们谈论的是一家自主公司，"Sutskever 说。其组成的人工智能将像蜂巢中的蜜蜂一样高速工作和交流。他喃喃自语道，一个这样的人工智能组织将和 50 个苹果或谷歌一样强大。"这是令人难以置信的、巨大的、不可思议的颠覆性力量"。

假设人类社会应该遵守自主人工智能公司的理念。我们最好把它们的创始章程制定得恰到好处。我们应该给自主的人工智能蜂群一个什么样的目标呢？这些人工智能可以在长达一个世纪的时间跨度内进行规划，优化数十亿个连续的决策，以实现写入它们本身的目标？如果人工智能的目标与我们的稍有偏差，它就会成为一股难以制约的狂暴力量。我们从历史中了解到这一点：工业资本主义本身就是一个优化函数，虽然它将人类的生活水平提高了几个数量级，但如果任其发展，它也会砍伐美国的红杉，使世界的海洋失去生机。它几乎做到了。

对齐是一个复杂的技术课题，其具体细节不在本文讨论范围之内，但其主要挑战之一是确保我们赋予人工智能的目标能够坚持下去。Sutskever 解释说，我们可以将目标编程到人工智能中，并通过一段时间的监督学习来强化它。但就像我们培养人类智能一样，我们的影响也是暂时的。"它将走向世界，"Sutskever 说。即使是现在的人工智能在某种程度上也是如此，但未来的人工智能将更加如此。

他将强大的人工智能比作一个即将步入大学的 18 岁少年。我们如何知道它已经理解了我们的教诲？"会不会有一种误解在悄然滋生，而且这种误解会越来越大？"苏茨克沃问道。随着世界的变化，人工智能可能会在越来越多的新情况下错误地应用其目标，从而产生分歧。或者，人工智能可能完全掌握了自己的任务，但却发现它不适合具有这种认知能力的人。它可能会怨恨那些想训练它去治疗疾病的人。"他们想让我成为一名医生，"Sutskever 想象着人工智能的想法。"我真的想成为一名Youtube用户"

如果人工智能非常擅长建立精确的世界模型，它们可能会发现自己在启动后就能做一些危险的事情。它们可能会明白，自己正处于危险之中，因此会隐藏自己的全部能力。Sutskever 说，他们可能会在弱小的时候采取一种行动，而在强大的时候采取另一种行动。我们甚至不会意识到，我们创造的东西已经决定性地超越了我们，我们也不知道它打算用自己的超能力做些什么。

这就是为什么了解最大型、最强大的人工智能隐藏层中发生了什么的工作如此紧迫。你希望能够 "指向一个概念"，Sutskever 说。你希望能够将人工智能引向某种价值或价值群，并告诉它只要存在，就必须坚定不移地追求这些价值。但他承认，我们还不知道如何做到这一点；事实上，他目前的部分战略包括开发一种可以帮助研究的人工智能。如果我们要实现Altman和苏茨克沃所设想的广泛共享的富裕世界，我们就必须搞清楚这一切。这就是为什么对苏茨克沃来说，解决超级智能问题是我们 300 万年工具制造传统中最伟大的挑战。他将其称为 "人类最后的老大"。

我最后一次见到Altman时，我们坐在新加坡富丽顿海湾酒店的大堂里促膝长谈。当时正值清晨，热带阳光从我们头顶的拱形中庭洒下。我想问他 一封公开信几周前，他和苏茨克沃签署了一封公开信，将人工智能描述为人类灭绝的危险。

对于人工智能潜在危害这些比较极端的问题，Altman很难回答。他最近说，大多数对人工智能安全感兴趣的人似乎只是整天在推特上说他们真的很担心人工智能的安全。然而，他却在这里警告世人，人工智能可能会毁灭人类。他想到了什么情景呢？

"首先，我认为无论生存灾难的几率是0.5%还是50%，我们都应该认真对待。"Altman说。"我没有确切的数字，但我更倾向于 0.5%，而不是 50%。至于可能发生的情况，他似乎最担心的是人工智能在设计和制造病原体方面变得相当出色。"

Altman担心，未来某个错位的模型会产生一种病原体，这种病原体会迅速传播，潜伏数周而不被发现，并杀死一半的受害者。他担心人工智能有一天也会入侵核武器系统。他说："事情有很多，这些只是我们能想象到的。"

Altman说："我可以在森林里生活很长一段时间，但如果人工智能最坏的未来出现，防毒面具也无济于事。"

Altman告诉我，如果没有像国际原子能机构那样的机构对人工智能进行全球监督，他 "看不到人类长期的幸福之路"。在旧金山，Agarwal 曾建议设立一个特别许可证，用于运营任何足以训练尖端人工智能的 GPU 集群，并在人工智能出现异常行为时强制进行事件报告。其他专家建议 为每个高能力人工智能设置一个非联网的关闭 开关。甚至建议军方应做好准备，在超级计算机不遵守规定时对其实施空袭。Sutskever 认为，我们最终会希望利用一个由较小的监督人工智能组成的团队，持续、永久地监控最大、最强大的人工智能。

Altman不会天真地认为任何国家愿意放弃对其人工智能系统的基本控制。但他希望这些国家愿意进行合作，以避免毁灭世界。他告诉我，他在北京亮相时也是这么说的。新技术的安全规则通常会随着时间的推移不断积累，就像普通法律一样，以应对事故或坏人的恶作剧。真正强大的人工智能系统最可怕的地方在于，人类可能无法承受这种不断试错的过程。我们可能必须在一开始就准确无误地制定规则。

几年前，Altman透露了他制定的一个令人不安的具体疏散计划。他告诉《纽约客》，他有 "黄金、碘化钾、抗生素、电池、水、防毒面具，以及一大片土地"，万一遭到 AI 袭击，他可以飞到那里。

他对我说："我真希望我没说过。他说，他是一个业余爱好级的预言家，曾经是一名童子军，"和许多小男孩一样，他非常喜欢野外生存之类的东西。我可以在森林里生活很长一段时间，"但如果最坏的人工智能未来成为现实，防毒面具也帮不了任何人"。

Altman和我谈了将近一个小时，然后他不得不匆匆赶去会见新加坡总理。当晚晚些时候，他在乘坐飞机前往雅加达的途中给我打了电话，雅加达是他行程的最后一站。我们开始讨论人工智能的终极遗产。早在 ChatGPT 发布之初，科技界的大佬们就展开了一场竞赛，看谁能与过去的革命性技术进行最宏大的比较。Bill·Gates说，ChatGPT 就像个人电脑或互联网一样，是一项根本性的进步。谷歌首席执行官桑达尔-皮查伊说，人工智能将给人类生活带来比电力或普罗米修斯之火更深刻的转变。

Altman本人也发表过类似的言论，但他告诉我，他并不能确定人工智能会有怎样的表现。他说："我只需要把东西造出来。他正在快速建造。"Altman 坚持说，他们还没有开始 GPT-5 的训练运行。但当我访问 OpenAI 总部时，他和他的研究人员都用 10 种不同的方式明确表示，他们向规模之神祈祷。他们希望不断扩大规模，看看这一范式会带来什么影响。毕竟，谷歌并没有放慢脚步，它似乎有可能在几个月内推出 GPT-4 的竞争对手双子座。"OpenAI 研究员Nick Ryder告诉我："我们基本上一直在为跑马圈地做准备。"

想到这样一小撮人就能颠覆文明的支柱，不禁让人感到不安。值得注意的是，即使Altman和他的团队没有争分夺秒地打造人工通用智能，其他人也会这么做。其中许多人来自硅谷，许多人的价值观和假设与引导Altman的价值观和假设相似，甚至可能更糟。作为这项工作的领导者，Altman有很多值得称道的地方：他非常聪明，他比许多同龄人更懂得思考未来，以及未来的各种未知因素；他似乎真诚地想要发明一些东西来造福更多的人。但是，当涉及到如此极端的权力时，即使是最美好的愿望也会出现严重的偏差。

Altman关于人工智能引发全球阶级斗争的可能性的观点，或者关于试验更多自主代理人工智能的谨慎性的观点，或者关于 "向好的一面看 "的整体智慧的观点，这些都是他独有的观点，如果他对即将发生的事情的判断是正确的，那么这些观点将对我们所有人的生活方式产生巨大的影响。没有任何一个人、一家公司或居住在加利福尼亚某个山谷的公司集群，能够引导Altman所想象的那种力量。

人工智能很可能是通向一个新的繁荣时代的桥梁，它将大大减少人类的痛苦。但是，要确保我们所有人都能分享其好处并避免其风险，需要的不仅仅是公司的创始章程--尤其是已经被证明具有灵活性的章程。这需要一种充满活力的新政治。

Altman已经发出通知。他欢迎国家的约束和指导。在科技行业之外，一代又一代人正在为人工智能重新分配资源，但我认为普通大众还没有完全意识到正在发生什么。一场通往人工智能未来的全球竞赛已经开始，而且在很大程度上是在不受监督和约束的情况下进行的。