AI研究人员讨论了分享可能有害的程序的道德规范

研究实验室OpenAI最近决定限制新算法的发布，这引起了AI社区的争议。该非营利组织表示，由于对“恶意应用程序”的担忧，它决定不分享该程序的完整版本，这是一种名为GPT-2的文本生成算法。但许多人工智能研究人员批评了这一决定，指责实验室夸大危险这项工作构成了无意中引发了人工智能的“大规模歇斯底里”。

辩论范围广泛，有时甚至引起争议。它甚至在人工智能研究人员中变成了一种模因，他们开玩笑说他们在实验室中取得了惊人的突破，但目前的结果太危险了。更重要的是，它突出了整个社区面临的一系列挑战，包括难以与新闻界沟通新技术，以及平衡开放与负责任披露的问题。

所有大惊小怪的中心程序相对简单。GPT-2是一类新的文本生成算法的最新例子，预计将在未来产生重大影响。当提供类似标题或故事的第一行的提示时，GPT-2会生成与输入匹配的文本。结果多种多样，但往往令人惊讶地连贯。例如，制作的新闻报道非常模仿真实文章的基调和结构，完成发明的统计数据和来自制作来源的报价。

从许多方面来说，它是一种有趣的工具，具有令人愉悦和惊喜的能力。但它并没有人类理解和产生文本的能力。它生成文本但不理解它。OpenAI和外部专家一致认为，这本身并不是一个突破，而是一个前沿文本生成可以做的出色执行的例子。

OpenAI限制发布的原因包括GPT-2等程序可能会制作“误导新闻文章”以及自动化垃圾邮件和滥用行为。出于这个原因，虽然他们发表了一篇描述该项工作的论文以及该项目的“小得多”版本，但研究人员仍保留了培训数据和完整模型。在通常默认开放的人工智能研究领域，代码，数据和模型被广泛分享和讨论，此举和OpenAI的推理引起了很多关注。

反对OPENAI决定的论点

批评主要围绕几个关键点。首先，通过隐瞒模型，OpenAI阻止其他研究人员复制他们的工作。其次，模型本身并不像OpenAI所说的那样构成威胁。第三，OpenAI没有采取足够的措施来抵制媒体炒作和歪曲这种AI新闻的倾向。

第一点非常简单。虽然机器学习是一个相对民主的领域，但近年来，只有研究人员能够提供惊人的突破，但人们越来越重视资源密集型研究。像GPT-2这样的算法是使用大量的计算能力和大数据集创建的，两者都很昂贵。有人认为，如果像OpenAI这样资金充足的实验室不会分享他们的结果，那么社区的其他人就会变得贫穷。

加州理工学院的人工智能教授兼Nvidia机器学习研究主任Anima Anandkumar告诉The Verge说： “这会让学者处于极大的劣势。” 在博客文章中，Anandkumar表示，OpenAI有效地利用其影响力“使ML研究更加封闭和无法访问。”(在回复OpenAI宣布的推文中，她更坦诚，称该决定为“恶意BS”。)

该领域的其他人对这一批评表示赞同，认为在可能有害的研究中，公开发表更为重要，因为其他研究人员可以在工作中寻找错误并提出对策。

说起边缘，OpenAI科学家万里布伦戴奇，谁在人工智能的社会影响的作品，说实验室是这种权衡的“敏锐地意识到”。他通过电子邮件说，实验室正在考虑通过邀请更多人来测试模型来“缓解”访问受限的问题。

强调她以个人身份发言的Anandkumar也表示，OpenAI隐瞒该模式的理由并未加起来。虽然重新创建作品所需的计算能力超出了大多数学者的能力范围，但任何有决心或资金充足的团队都可以相对容易地获得。这将包括那些可能从滥用算法中受益的人，比如民族国家组织在线宣传活动。

Anandkumar表示，人工智能被用于自动化垃圾邮件和错误信息创建的威胁是一个真正的威胁，“但我不认为限制访问这一特定模型将解决问题。”

Delip Rao是一名文本生成专家，曾参与使用AI检测假新闻和错误信息的项目，他同意OpenAI所描述的威胁被夸大了。他指出，例如，假冒新闻，文本的质量很少成为障碍，因为这种错误信息的大部分都是通过复制和粘贴其他故事来实现的。“你不需要花哨的机器学习，”Rao说。他说，当涉及到逃避垃圾邮件过滤器时，大多数系统依赖于一系列信号，包括用户的IP地址和最近的活动 - 而不只是检查垃圾邮件发送者是否正在写作。“我知道像[GPT-2]这样的模型可以用于不健康的目的，但可以说是迄今为止发布的任何类似模型，”Rao说，他还写了一篇关于这个主题的博客文章。“过于危险”这个词在没有经过深思熟虑或实验的情况下随便扔掉了。我不认为[OpenAI]花了足够的时间证明它实际上是危险的。“

布伦戴奇说，实验室咨询外部专家以评估风险，但他强调OpenAI正在为日益复杂的文本生成系统的危险提供更广泛的案例，而不仅仅是关于GPT-2。

“我们理解为什么有些人认为我们的声明被夸大了，尽管区分我们所说的与其他人所说的很重要，”他写道。“我们试图突出GPT-2的当前能力以及更广泛的系统类别的风险，我们应该更加精确地区分这种区别。”

布伦戴奇还指出，OpenAI希望在谨慎方面犯错误，他说发布完整模型将是一个“不可逆转”的举动。在上周接受The Verge 采访时，OpenAI的政策主管将该技术与用于创建深度伪造的面部交换算法进行了比较。这些作为开源项目发布，很快就被世界各地的个人用于自己的用途，包括创建非自愿的色情内容。

AI媒体炒作的难度

研究人员说，虽然关于文本生成模型和学术访问的危险性的争论没有明显的结论，但与公众沟通新技术的问题甚至更加棘手。

对OpenAI方法的批评者指出，“太危险而无法释放”的角度成为大量报道的焦点，提供了一个多汁的标题，掩盖了该技术带来的实际威胁。像“Elon Musk的OpenAI构建的人工智能如此强大以至于必须为人类的利益而被锁定”的头条新闻很常见。(Elon Musk与OpenAI的关系是该实验室长期存在的问题。他在2015年共同创立了该组织，但据报道，该组织去年几乎没有直接参与并辞去董事会职务。)

虽然对于他们的领域的不良报道感到沮丧对于科学家来说并不是一种新的经历，但在人工智能研究方面，风险尤其高。这部分是因为公众对人工智能的看法与实际能力不相符，但这也是因为该领域正在努力解决资金和监管等问题。如果普通公众对AI过度担心，是否会导致研究不那么有意义?