寻找可靠的AI性能基准的挑战

人工智能可能会非常耗费资源。通常，AI从业人员会寻找最快，最具扩展性，最省电且成本最低的硬件，软件和云平台来运行其工作负载。

随着AI领域转向工作负载优化的架构，对标准基准测试工具的需求日益增长，以帮助机器学习开发人员和企业信息技术专业人员评估哪种目标环境最适合任何特定的培训或推论工作。从历史上看，人工智能行业缺乏可靠，透明，标准和供应商中立的基准，无法标记可用于处理给定工作负载的不同硬件，软件，算法和云配置之间的性能差异。

在AI行业的一个重要里程碑中，新成立的MLPerf开源基准测试小组上周宣布推出了一个标准套件，用于对ML软件框架，硬件加速器和云平台的性能进行基准测试。该小组-包括Google，百度，英特尔，AMD和其他商业供应商，以及哈佛和斯坦福等研究型大学-都在尝试创建一个ML性能比较工具，该工具比较开放，公平，可靠，全面，灵活，负担得起的。

MLPerf可在GitHub上获得，目前处于0.5的初步版本中，它为当今AI部署中占主导地位的一些有限用例提供了参考实现：

图像分类：适用于Imagenet的Resnet-50 v1。

物体检测：将遮罩R-CNN应用于COCO。

语音识别：DeepSpeech2应用于Librispeech。

翻译：变压器应用于WMT英语-德语。

建议：神经协作过滤应用于MovieLens 2000万(ml-20m)。

情感分析：Seq-CNN应用于IMDB数据集。

强化：Mini-go适用于预测职业比赛的动作。

MLPerf的第一个版本侧重于适用于作业的ML培训基准。当前，每个针对特定AI用例的MLPerf参考实现都提供以下内容：

有关数据集，模型和机器设置的文档以及用户指南。

在至少一个ML / DL框架和一个用于在容器中运行基准的dockerfile中实现模型的代码;

用于下载参考数据集，训练模型并针对预定目标值(也称为“质量”)衡量其性能的脚本。

MLPerf小组已经发布了基准测试参考实现的存储库。参考实现可作为基准实现的起点，但尚未完全优化，因此不能用于目标生产AI系统的性能评估。当前，已经在以下参考实现上测试了MLPerf发布的基准：

16个中央处理单元芯片和1个Nvidia P100 Volta图形处理单元;

Ubuntu 16.04，包括具有Nvidia支持的docker;

600 GB的磁盘(尽管许多基准测试需要更少的磁盘);和

CPython 2或CPython 3，取决于基准。

MLPerf小组计划以两种模式发布每个基准测试或使用特定AI模型的特定问题：

封闭：在此模式下，基准(例如通过应用于IMDB数据集的Seq-CNN进行情感分析)将指定要使用的模型和数据集，并将限制超参数，批处理大小，学习率和其他实现细节。

开放：在这种模式下，相同的基准测试将具有较少的实施限制，因此用户可以试验基准测试较新的算法，模型，软件配置和其他AI方法。

每个基准测试都会运行，直到达到目标指标，然后该工具才会记录结果。MLPerf组目前根据将模型训练到最低质量所需的平均“挂钟”时间发布基准度量。该工具考虑了工作成本，只要价格在一天中的运行时间内没有变化即可。对于每个基准，目标指标均基于原始发布结果，减去一个小增量即可得出不同的运行差异。

MLPerf小组计划每三个月更新一次已发布的基准测试结果。它将发布一个分数，该分数总结了其整个封闭式和开放式基准测试组的性能，并按完整套件结果的几何平均值进行计算。它还将报告执行基准测试任务的移动设备和本地系统的功耗，并报告执行这些任务的基于云的系统的成本。

将于8月发布的基准测试套件的下一个版本将在一系列AI框架上运行。随后的更新将包括对推理工作负载的支持，最终将扩展为包括在嵌入式客户端系统上运行的那些工作负载。它计划将在“开放”基准中开发的所有基准改进内容纳入“封闭”基准的未来版本中。它计划发展参考实现，以结合更多的硬件容量和针对各种工作负载的优化配置。

尽管MLPerf当然拥有最广泛的参与和最雄心勃勃的议程，但它并不是第一个在特定工作负载上对AI平台的性能进行基准测试的行业框架。展望未来，Wikibon希望这些既定的基准测试计划能够与MLPerf融合或保持一致：

DAWNBench用于端到端DL训练和推理。由斯坦福大学MLPerf成员开发的DAWNBench提供了一组常见的DL工作负载参考，用于量化跨不同优化策略，模型架构，软件框架，云和硬件的培训时间，培训成本，推理延迟和推理成本。它支持图像分类和问题解答任务的跨算法基准测试。

DeepBench基准测试了TensorFlow，Torch，Theano和PaddlePaddle等DL框架的训练和推理性能。该工具由百度开发，该工具也是MLPerf成员，该工具对在不同AI加速器芯片组上运行的基本DL操作(密集矩阵乘法，卷积和通信)的性能进行了基准测试。它包括七个硬件平台(Nvidia的TitanX，M40，TitanX Pascal，TitanXp，1080 Ti，P100和英特尔的Knights Landing)的训练结果，以及三个服务器平台(Nvidia的TitanX Pascal，TitanXp和1080 Ti)和三个移动设备的推断结果。 (iPhone 6和7，RaspBerry Pi 3)。但是，它无法衡量训练整个模型所需的时间。

微软已经 开源了一个GitHub存储库 ，该存储库创建了所谓的“深度学习框架的罗塞塔石碑”，以促进对GPU优化的DL模型进行跨框架基准测试。该仓库包含优化的建模代码，可通过各种框架中支持的最新高级API(Keras 和 Gluon)进行访问。对于替代的多GPU配置，它发布了这些模型的性能比较基准-具体而言，是在CIFAR-10数据集上执行ResNet50图像识别的CNN和RNN模型的训练时间结果 对于RNN模型，则需要对IMDB电影评论进行情感分析。这些基准比较了跨框架和语言的这些DL模型在培训时间上的表现。微软还邀请任何数据科学家启动 Azure深度学习虚拟机， 并为他们希望的任何DL任务，框架，API，语言和GPU配置贡献自己的基准。

CEA N2D2是一个开源基准测试框架，可在各种硬件配置上模拟DL模型的性能。由总部位于巴黎的研究机构与工业和学术伙伴合作建造。N2D2使设计人员能够探索和生成DL模型。它根据DL模型的准确性，处理时间，硬件成本和能耗比较了不同的硬件。它支持在多核或多核CPU，GPU和现场可编程门阵列目标上进行模拟基准测试。

OpenAI的Universe使用强化学习来支持AI应用程序自动性能的基准测试，以对比从同一应用程序环境中的人机交互中收集的训练数据。它提供了一个环境，在该环境中可以从交互式在线应用程序环境中有机地收集此类用户交互基准数据。在Universe中记录了人类用户会话，以提供基于交互的培训数据来对AI应用程序性能进行基准测试。