长推：解读OpenAI超级人工智能治理

注：本文来自@victalk_eth 推特，其是加密研究员，原推文内容由MarsBit整理如下：

OpenAI刚刚发布了一篇关于超级人工智能治理方面的文章，文中提到了关于治理的一系思考，包括要建立一个国际监督组织，来在合规框架内制定人工智能发展的相关条款

本文将翻译 @OpenAI 的原文，以下是原文链接

https://openai.com/blog/governance-of-superintelligence

关于超级智能治理的初步想法，包括建立一个国际监督组织，来监管未来比现今任何系统都更强大的AI系统：

"现在是开始思考超级智能治理的好时机——这些未来的AI系统将比通用人工智能（AGI）更为强大。"

"根据我们现在的观察，可以设想在未来十年内，AI系统将超过大多数领域的专家技能水平，并能进行与今天最大的公司相当的生产活动。

无论是未来可能带来的更多收益还是更多风险，超级智能都将比人类过去需要应对的其他技术更强大。

我们可以拥有一个显著更繁荣的未来; 但我们必须管理其中存在的风险。

考虑到存在的风险，我们不能只是被动应对。

核能是一个常用的具有这种属性的技术的历史例子；合成生物学是另一个例子。

我们也必须减轻现今AI技术的风险，但超级智能将需要特殊的处理和协调。"

一个起点

有许多重要的想法，可以让我们有很好的机会成功应对这种发展；

在此，我们首先就其中三个想法提出我们的初步思考。

首先，我们需要在领先的开发之间有一定程度的协调，以确保超级智能的开发能以一种既能保持安全又能帮助这些系统与当代社会顺利融合的方式进行。

实施这一点的方式有很多；

世界各地的主要政府可以设立一个项目，让许多当前的努力成为其一部分，或者我们可以集体同意（有新组织如下所述的背书），在前沿限制AI能力的年增长率。

当然，各个公司应该被要求对负责任的行为有极高的标准。

其次，我们可能最终需要一个类似于国际原子能机构的超级智能机构；

任何超过一定能力（或资源如计算能力）阈值的研发都需要接受一个可以检查系统、要求审计、检查是否遵守安全标准、对部署程度和安全级别进行限制等的国际权威的审查。

我们一些希望这个想法实际上可以实施。

作为第一步，公司可以自愿同意按照以上的要素来进行自我审查，就像已经存在一个这样的国际监管机构一样。

作为第二步，各个国家可以实施它。

这样一个机构应该专注于减少存在的风险，而不是那些应该留给各个国家解决的问题，如定义AI应该被允许说什么。

第三，我们需要技术能力来使超级智能安全。这是一个开放的研究问题，我们和其他人都在投入大量的努力。

不在考虑范围内的事项

我们认为允许公司和开源项目开发低于显著能力阈值的模型是很重要的，而不需要我们在这里描述的那种监管（包括繁重的机制，如许可或审计）。

现今系统将在世界上创造巨大的价值，虽然它们确实存在风险，但这些风险的级别与其他互联网技术相当，社会的可能应对方式似乎也是合适的。

相比之下，我们关心的系统将拥有超越任何已创建技术的力量，我们应该小心不要通过将类似的标准应用到远低于此标准的技术上，来淡化对它们的关注

公众参与和潜力

但是，最强大系统的治理，以及关于它们部署的决策，必须有强大的公众监督。

我们相信全世界的人们应该民主地决定AI系统的界限和默认设置。

我们还不知道如何设计这样的机制，但我们计划试验其开发。

我们仍然认为，在这些宽泛的界限内，个别用户应该对他们使用的AI的行为有很大的控制权。

考虑到风险和困难，我们值得思考为什么我们要构建这项技术。

在OpenAI，我们有两个根本的原因。

首先，我们相信它将带来一个比我们今天能想象的更好的世界（我们已经在教育、创意工作和个人生产力等领域看到了这方面的早期例子）。

世界面临很多我们需要更多帮助才能解决的问题；这项技术可以改善我们的社会，每个人使用这些新工具的创造能力肯定会让我们惊讶。

经济增长和生活质量的提高将是惊人的。

其次，我们认为阻止超级智能的创造会有风险和困难。

因为上升的趋势如此巨大，每年建造它的成本都在减少，建造它的工程师数量正在迅速增加.

它本质上是我们所处的技术路径的一部分，阻止它需要类似于全球监控机制，即使这样也不能保证有效。

所以我们必须要做，而且要做好。