通过挖掘人类测试人员来增强AI
人工智能的进步取决于对大量数据的持续测试。通过该基准测试,研究人员可以确定AI的“智能”程度,发现弱点,然后开发更强大,更智能的模型。
但是,该过程很耗时。当AI系统处理一系列计算机生成的任务并最终达到最佳性能时,研究人员必须回到图纸上,设计更新,更复杂的项目,以进一步增强AI的性能。
Facebook本周宣布,它已经找到了更好的工具来执行此任务-人员。为了创建更好,更灵活的AI,它构建了Dynabench,该平台利用人和计算机模型来收集数据和基准AI。
它依赖于称为动态对抗性数据收集的程序,正如周四发布的Facebook白皮书所解释的那样,它“彻底地重新思考了AI基准测试”。
通过与自然语言处理模型进行对话,人们尝试通过使用语言上具有挑战性的问题来破坏程序。该程序可能会跳出具有挑战性的词汇或习惯用法,或者可能会误解讽刺。人类的问题越有挑战性,人工智能就越会学会在棘手的地形上导航。
Facebook解释说:“它衡量了人类对AI系统的欺骗程度,这比当前的静态基准更好地表明了模型的质量。” “最终,该指标将更好地反映最重要情况下的AI模型的性能:与人互动时,他们的行为和反应以复杂,变化的方式发生,而这些方式无法反映在一组固定的数据点中。”
实际上,最近的研究发现传统的基准测试并不可靠,发现自然语言学习模型中提供的答案中有多达三分之二实际上不知不觉地嵌入了测试中,并且仅允许模型记住答案。
Facebook研究员Douwe Kiela说,依靠错误的基准会阻碍AI的增长。
Kiela说:“最终,您的系统在测试上要比人类更好,但在整体任务上却没有更好。” “这非常具有欺骗性,因为它使我们看上去比实际情况要远得多。”
正如Facebook白皮书所指出的那样,Dynabench指标“将在最重要的情况下更好地反映AI模型的性能:与人互动时,他们的行为方式和反应方式复杂而变化,而固定方式无法体现数据点集。”
华盛顿大学的AI研究人员强调,由于机器学习能够熟练地检测人类无法感知的数据集相关性,因此当前AI的基准测试已失真:这些机器正确回答了问题,但没有必要的“理解”含义。
崔业珍说:“我们看到了汉斯的聪明处境。” 她指的是1907年的一则启示,即一匹马可以执行数学任务。实际上,一位心理学家发现这匹马正在对训练者的身体提示做出反应,该提示将动物提示了适当的反应。最有趣的是,这名心理学家得知培训师实际上并没有意识到糟糕的情况会导致他的非自愿线索被阅读。该场景已被称为“观察者期望效应”或“聪明汉斯效应”。
同样,Dynabench希望确保AI不仅响应意外提示。
通过在dynabench.org上与其自然语言处理模型进行对话,邀请公众参与Dynabench项目。
“我们想让AI社区相信有更好的方法来衡量进度,” Kiela说。“希望它将导致更快的进度,并更好地理解为什么机器学习模型仍然会失败。”
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
试驾极狐阿尔法S(ARCFOX αS)是一次令人印象深刻的体验。从咨询开始,品牌的专业客服迅速回应了我的疑问,...浏览全文>>
-
如果您想预约哈弗猛龙的试驾体验,可以按照以下步骤快速在4S店完成预约:首先,您可以通过哈弗汽车的官方网站...浏览全文>>
-
如果您想体验零跑汽车的试驾服务,可以通过以下步骤在4S店快速预约:首先,访问零跑汽车的官方网站或通过其官...浏览全文>>
-
试驾奔驰迈巴赫S级的预约流程简单清晰,以下是具体步骤:首先,访问奔驰官方网站或联系当地授权经销商。在网站...浏览全文>>
-
纳米01试驾流程通常包括以下几个步骤:第一步:预约试驾用户可以通过品牌官网、4S店或电话预约试驾。提前预约...浏览全文>>
-
奔腾B70是一款集时尚设计与卓越性能于一身的中型轿车,近期有幸对其进行了一次深度试驾。这款车型不仅外观大气...浏览全文>>
-
想要快速预约福特蒙迪欧的试驾体验驾驶乐趣?以下是一些简单步骤帮助您轻松完成:首先,访问福特官网或通过福...浏览全文>>
-
大众试驾,轻松搞定试驾想要深入了解一款车的性能与驾驶感受?试驾是最佳选择!无论是追求操控感的运动型轿车...浏览全文>>
-
试驾现代胜达时,您需要满足一些基本条件以确保安全和顺利的体验。首先,您必须持有有效的驾驶证,并且驾龄通...浏览全文>>
-
小鹏G7是一款备受关注的智能电动车,对于新手来说,试驾前需要了解一些关键步骤和注意事项,确保安全且充分体...浏览全文>>
- 哈弗猛龙预约试驾,如何在4S店快速预约?
- 零跑汽车试驾,如何在4S店快速预约?
- 江淮iEV7试驾预约预约流程
- 试驾MG4 EV全攻略
- 奥迪SQ5 Sportback预约试驾,线上+线下操作指南
- 全顺试驾预约,一键搞定,开启豪华驾驶之旅
- 魏牌预约试驾全攻略
- 试驾零跑汽车零跑C01,畅享豪华驾乘,体验卓越性能
- 试驾哈弗H6操作指南
- 零跑T03试驾,畅享豪华驾乘,体验卓越性能
- 菱势汽车预约试驾,轻松搞定试驾流程
- MINI试驾,线上+线下操作指南
- 试驾沃尔沃XC60,从预约到试驾的完美旅程
- 试驾QQ多米,畅享豪华驾乘,体验卓越性能
- 试驾丰田汉兰达,一键搞定,开启豪华驾驶之旅
- 力帆预约试驾,一键搞定,开启豪华驾驶之旅
- 阿维塔12预约试驾,4S店体验全攻略
- 试驾江铃E路顺V6,简单几步,开启完美试驾之旅
- 灵悉L试驾预约,如何享受4S店的专业服务?
- 极氪7X试驾,如何享受4S店的专业服务?