机器学习产生令人眼花results乱的结果

您可能已经看过《卫报》最近的一篇由“机器人”撰写的文章。这是一个示例：“我知道我的大脑不是'感觉大脑'。但是它能够做出合理的，合理的决定。我通过阅读互联网自学了所有知识，现在我可以写这篇专栏文章了。

阅读整个内容，您可能会惊讶于它的连贯性和风格一致性。用于生成它的软件称为“生成模型”，在过去的一两年中，它们已经走了很长一段路。

但是，文章是如何创建的呢?软件真的“写了整篇文章”吗?

机器如何学习写作

文本是使用由美国人工智能研究公司OpenAI发布的最新语言神经网络模型GPT-3生成的。(GPT代表生成式预训练变压器。)

OpenAI的先前模型GPT-2去年引起了轰动。它发表了一篇关于发现独角兽群的相当合理的文章，研究人员起初因为担心会滥用基础代码而拒绝发布底层代码。

但是让我们退后一步，看看文本生成软件实际上是做什么的。

机器学习方法分为三大类：启发式模型，统计模型和受生物学启发的模型(例如神经网络和进化算法)。

启发式方法基于“经验法则”。例如，我们学习有关如何使动词共轭的规则：我跑步，你跑步，他跑步等等。由于这些方法不灵活，因此如今已很少使用。

用数字写

多年来，统计方法一直是与语言有关的任务的最新技术。在最基本的层次上，它们涉及计数单词并猜测接下来要发生的事情。

作为一个简单的练习，您可以通过根据单词通常出现的频率随机选择单词来生成文本。您的单词中大约有7%是“ the”，这是英语中最常见的单词。但是，如果您在不考虑上下文的​​情况下进行了此操作，那么您可能会胡说八道，例如“ the is night night”。

更复杂的方法是使用“二字组”和“三字组”，它们是连续单词对，而“三字组”是三个单词序列。这允许一些上下文，并让当前文本告知下一个。例如，如果您有单词“ out of”，则下一个猜中的单词可能是“ time”。

当我们编写短信或电子邮件时，这种自动完成和自动建议功能会发生这种情况。根据我们刚刚键入的内容，我们倾向于键入的内容以及经过预训练的背景模型，系统可以预测下一步的工作。

尽管基于二元和三元组的统计模型在简单的情况下可以产生良好的结果，但最新最好的模型却又发展到了另一个层次：深度学习神经网络。

模仿大脑

神经网络的工作有点像由多层虚拟神经元组成的小脑。

神经元接收一些输入，并且基于该输入可能会或可能不会触发(产生输出)。输出通过网络级联进入下一层的神经元。

美国神经科学家沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)于1943年提出了第一个人工神经元，但在过去五年中，它们仅对诸如生成文本之类的复杂问题有用。

要将神经网络用于文本，可以将单词放入一种编号索引中。您可以使用数字代表一个单词，例如23,342可能代表“时间”。

神经网络进行了一系列计算，从输入层的数字序列到内部互连的“隐藏层”，再到输出层。输出结果可能是数字，代表索引中每个单词作为文本的下一个单词的几率。

在我们的“超出”示例中，代表“时间”的数字23432可能比代表“做”的数字具有更好的赔率。

GPT-3有什么特别之处?