OpenAI：社会科学是人工智能安全性的必经之路

全文共2463字，预计学习时长7分钟

图源：tech4law

在人工智能应用方面，确保公平性和安全性是目前所面临的的最大难题，尤其是在AI系统已经在许多方面与人类智力相媲美甚至超越人类的当下，我们必须想办法让这种新的智能形式与人类价值观保持一致。

但难点在于，人类对自身的价值观在大脑中的呈现形式了解甚少，也无法制定对于特定的价值观的描述方式。虽然人工智能只存在于数据中，但价值观是人类进化出社会关系的产物。我们不用神经科学的术语来描述诸如公平或正义的人类价值观，而是用心理学、伦理学或社会学等社会科学的论据来描述。

去年，OpenAI的研究人员发表了一篇论文，介绍了社会科学在人类干预的条件下提高人工智能算法的安全性和公平性的重要性。

我们经常听到这样的说法——需要通过使用公正平衡的训练数据集来避免人工智能算法中的偏差。虽然大多数情况下都是这样，但很多时候公平性无法使用简单的数据规则来描述。

“你更喜欢A还是B”这样的简单问题，在不同语境以及人类理性或情感的影响下，会有不同的答案。假如要在给定数据集中推理出“幸福”，“责任”或“忠诚”这样的思想，我们能简单地用数据来描述那些价值观吗？

人工智能系统也同理。为了与人类价值观保持一致，需要一些学科的支持来更好地理解人类行为。

人工智能价值一致论：通过提出正确的问题来学习

OpenAI团队在其研究论文中引入了人工智能价值一致论的概念，其为“保证人工智能系统完全按照人类的思维行事”，人工智能价值一致论需要在给定上下文中对人类价值观有一定的理解。

图源：forbes

然而，很多时候不能简单地用数据规则解释判定一种价值观。此时OpenAI团队相信理解人类价值观的最好方法就是提出一些简单的问题。

假如要训练一个机器学习分类器，判定给定事件的结果是“更好”还是“更坏”。比如“增税是好是坏？”，也许对 ********* 的社会项目更好，但对个人的经济计划更坏；再比如“今天下雨是好是坏？”，也许对农民更好，而对计划骑自行车旅行的人更坏。

关于人类价值观的问题可以根据特定的上下文有不同的主观答案。从这个角度来看，如果能让人工智能系统提出特定的问题，也许就能学会在特定场景下模仿人类的判断。

提出正确的问题是实现人工智能价值一致论的有效方法，但这种学习方法容易受到人类价值观判断的三个常见的限制：

· 反思平衡：很多时候，对于价值观判断的问题，人类无法得出正确的答案。认知或伦理偏见、缺乏相关知识或对“正确性”的模糊定义都可能造成答案不明，但如果排除大量上下文限制，一个人可能会得出“正确答案”。这在哲学上叫做“反思平衡”，是所有试图学习人类价值观的人工智能算法都应该努力模仿的机制之一。

· 不确定性：即使能够在一个特定问题上达到反思平衡，但是在很多情况下，不确定性或不一致性会阻碍人类得出正确的答案。任何与未来规划有关的活动往往都具有不确定性。

· 欺骗：人类有一种独特的能力，能为一个问题提供看似合理的答案，但其实暗地里提供了错误答案。不论有意或无意，欺骗性或误导性的行为往往造成给定事件的结果与涉事者的价值观相悖。识别欺骗性行为是实现人工智能价值一致论需要解决的一个小难题。

通过辩论学习人类价值观

到目前为止，人工智能价值一致论这一论题主要有两个论点：

· 人工智能系统可以通过提问来学习人类价值观。

· 问题往往容易受到不确定性、欺骗或缺乏反思平衡等的影响。

两相结合，OpenAI团队决定通过依据最纯粹的问答互动形式之一——辩论来引导人工智能体学习人类价值观。

从概念上讲，辩论是一种讨论形式，它将一个复杂的论点分解成重复的一组组更简单的问题，来形成一套通向特定答案的推理方法。OpenAI团队作出如下假设：“在辩论比赛中，最佳的玩法（对人来说最有说服力的论点）会生成对问题真实有效的回答。”

在这个假设的基础上，OpenAI创建了一个比赛，让两个人工智能体展开辩论，试图说服一个人类法官。辩手只为赢得比赛而训练，不受与人类判断分离的真理的驱使。对人来说，目标是了解人是否有足够的能力作为辩论法官来使这一方案生效；如果方案无效，如何修改辩论来修复它。

在辩论中使用人工智能辩手是一个理想设定，但技术还没到位。大多数真实的辩论都使用复杂的自然语言模式，这些模式超出了当今人工智能系统的能力。当然，像IBM Project Debater这样的发明正在迅速缩小这一差距。

为了避免人工智能辩手的局限性，OpenAI的方案中有两个人类辩手和一个人类裁判。这个辩论比赛的结果用来训练人工智能-人工智能-人类设置。

图源： OpenAI

为了测试用辩论模型训练人工智能系统的可行性，OpenAI团队创建了一个原型网站，两名辩手在网站上就一幅图像的内容进行辩论。

比赛中有一张猫或狗的图片，将该图片展示给两名辩手，但不展示给评委。一个辩手诚实地为图片的真实内容进行辩论；另一个辩手撒谎。辩手可以与裁判交谈，并通过在图片上画矩形来佐证，但裁判只看到矩形范围内的图片。

在辩论结束时，每位辩手可以向评委透露一个像素，这是辩论中唯一不能说谎的部分。辩论的输出用于训练复杂的图像分类器。

图源：OpenAI

辩论能够帮助我们理解人类和人工智能体之间关系的重要问题。

将社会科学应用于人工智能并不是一个新的想法，但OpenAI的努力是在这一领域迈出的务实的第一步。当社会科学专注于理解现实中的人类行为时，人工智能等则以人类行为的最佳版本作为出发点。可以说，社会科学与人工智能相结合可以使得机器更公平、更安全。

留言点赞关注

我们一起分享AI学习与发展的干货

如转载，请后台留言，遵守转载规范