OpenAI创始人周末交流纪要.pdf

一、Sam Altman——规范 目前，世界各地的人已经开始尝试用AI改变生活。我们也 和外国领导人就监管进行了谈话。监管是确保未来安全可 靠地部署人工智能系统的前提。今天我来讨论一下目前AI 技术的发展速度，以及现在需要做什么来为引入人工智能 做准备。 历史证明科学技术遵循指数增长，但目前AI的增长不止在 其规模，还在其发展的速度。AI能快速发挥人们的想象 力。可能未来十年后，AGI在每个领域都能超越人类的专 业知识，它的生产力能够超越最大的公司。所以人工智能 革命的潜力是巨大的，但前提是要有足够的风险管理，而 大国合作是其中的关键。 随着日益强大的人工智能系统的出现，全球合作的赌注从 未如此之高：一个旨在改善公共卫生结果的人工智能系 统，可能会提供没有根据的建议，从而扰乱整个医疗保健 系统。同样，为优化农业生产而设计的人工智能系统可能 会无意中耗尽自然资源或破坏生态系统，因为缺乏对粮食 生产可持续性的考虑（对环境平衡的考虑）。因此，推进 AGI安全是我们需要共同努力的最重要领域。 我们要从以下几点入手： 1、AGI治理。AGI是一项具有全球影响力的技术。它能从 根本上成改变我们的文明，这也是国际合作和协调的意义 和必要性。每个人都会从合作治理中受益。而不计后果的 开发和部署所造成的事故成本也将影响到所有人。如果我 们安全、负责地驾驭这条道路，AGI系统可以为全球创造 经济繁荣，解决气候变化和健康安全等共同挑战，并提高 社会福祉。未来我们也需要在AGI安全方面进行投资。 国际合作有两个最重要的方面： （1）我们需要建立国际规范和标准，并要注重包容性。 在任何国家使用AGI系统，都应平等一致地遵循国际标准 和规范。 （2）我们需要国际合作，在安全开发AI系统方面，以可 核查的方式建立国际间信任。这不是一件容易的事，需要 投入大量和持续的关注。国际合作的第一步是国际科学和 技术界之间的合作。 而且，我们应该（在推动技术进步方面）增加透明度和知 识共享的机制。在AGI安全方面，发现新安全问题的研究 员应该分享他们的见解。在考虑如何制定这种鼓励机制的 同时，也要尊重和保护知识产权，这样才能实现深化合 作。更广泛地来讲，我们应该投资于对AI对齐和安全的研 究。 目前，OpenAI的研究主要集中在技术问题，让AI充当一 个更有用且安全的角色。通过训练使其不产生暴力威胁或 协助用户进行有害活动。但随着我们日益接近AGI的时 代，缺少对齐的AI系统的潜在影响力和影响规模将成倍增 长。现在积极主动地解决这些挑战，能把未来的风险降到 最低。 目前我们主要利用人类反馈来进行强化学习训练模型，使 其成为安全的工作助手。这是调整模型的一种方法。我们 也在努力研究新技术。 从GPT4完成预训练到部署，我们专门花了8个月的时间来 进行对齐方面的工作。总的来说，我们认为GPT4在这方 面做得很好。它比我们以前的任何模型都更加与人类对 齐。 然而，对于更先进的系统，对齐仍然是一个未解决的问 题。我们认为这需要新的技术方法，同时增强治理和监 督。未来的AGI系统，它可能需要10万行二进制代码。人 类监督者不太可能发现这样的模型是否在做一些邪恶的事 情。所以我们正在投资一些新的、互补的研究方向，希望 能够实现突破。 2、训练AI系统来帮助进行对齐研究。这种方法的好处在 于，它可以随着AI的发展而扩展。我们可以尝试使用人工 智能系统来协助人类监督其他人工智能系统。 1）我们可以训练一个模型来帮助人类监督发现其他模型 的输出中的缺陷。 2）也可以用模型来增强其他模型的解释力，更好地了解 这些模型内部发生了什么。我们最近发表了一篇论文，使 用GPT-4来解释GPT-2中的神经元。在另一篇论文中，我 们使用ModelInternals来检测一个模型何时在说谎。我们 相信，先进的机器学习技术可以进一步提高解释能力。 获得AGI带来的好处，同时降低风险，是我们这个时代的 开创性挑战之一。我们看到中国、美国以及世界各地的研 究人员有很大的潜力来共同解决对齐的技术挑战。如果这 样做，相信我们将能够利用AGI来解决世界上最重要的问 题，并极大地改善人类的生活质量。 二、Q&A环节 Q: 我们距离通用人工智能（AGI）还有多远？风险是不是 很紧迫，还是我们离它也很遥远？ A：这很难评估具体时间。很可能未来十年我们会有非常 强大的AI系统。新技术从根本上改变世界的速度可能比我 们想象的快。因此我认为把这件事（AI安全规则）做好是 重要且紧迫的，这就是为什么我呼吁国际社会共同努力的 原因。 不止是AGI，我们现在