用人工智能动作捕捉翻译“行为语言”
你可能已经看过好莱坞明星的“动作捕捉”套装,穿着全身服装,充满传感器,让电脑将它们变成绿巨人或龙或魔法野兽。
现在,普林斯顿教授Mala Murthy和Joshua Shaevitz的实验室之间的合作更进一步,利用人工智能(AI)的最新进展,在现有视频中自动跟踪动物的个体部位。
他们的新工具LEAP Estimates Animal Pose(LEAP)可以在几分钟内训练,以高精度自动跟踪数百万帧视频中动物的各个身体部位,而无需添加任何物理标记或标签。
“该方法可广泛用于动物模型系统,它可用于测量具有基因突变或药物治疗的动物的行为,”分子生物学和普林斯顿神经科学研究所(PNI)副教授Murthy说。 。
详细介绍新技术的论文将发表在2019年1月出版的“自然方法”杂志上,但其5月发布的开放版本已经导致该软件被许多其他实验室采用。
当研究人员将LEAP与他们实验室开发的其他定量工具结合起来时,他们可以通过观察动物身体运动的模式来研究他们所谓的“行为语言”,物理学教授和Lewis-Sigler综合基因组学研究所的Shaevitz说。 。
“这是一个灵活的工具,原则上可以用于任何视频数据,”作为该论文第一作者的PNI研究生Talmo Pereira说。“它的工作方式是在几个视频中标记几个点,然后神经网络完成其余部分。我们提供了一个易于使用的界面,任何人都可以将LEAP应用到自己的视频中,而无需任何先前的编程知识。 “
当被问及LEAP是否对大型哺乳动物的效果与大多数初始受试者的苍蝇和老鼠一样好时,Pereira立即制作了一个动态标记的长颈鹿视频,取自肯尼亚Mpala研究中心的现场饲料,普林斯顿是一个管理合作伙伴的实地研究站。
“我们从Mpala研究站拍摄了一只步行长颈鹿的视频......并在30个视频帧中标记了点,这花了不到一个小时,”佩雷拉说。“LEAP随后能够在几秒钟内跟踪整个视频的剩余部分(大约500帧)。”
以前开发可以跟踪人体运动的AI工具的努力依赖于大量的手动注释数据训练集。这使得软件可以在各种数据上稳健地工作,具有截然不同的背景或照明条件。
“在我们的案例中,我们优化了类似的方法来处理在实验室环境中收集的数据,其中条件在记录中是一致的,”Murthy说。“我们建立了一个系统,允许用户选择适合用户收集的数据类型的神经网络,而不是受到其他研究人员或公司工作的限制。”
该项目源于Murthy实验室的高级论文学生,2018年级的Diego Aldarondo和他的研究生导师Pereira之间的独特合作,他由Murthy和Shaevitz共同建议。
“迭戈正在探索使用深度神经网络通过他在普林斯顿的一个计算机科学课程中注释动物行为数据,并在实验室与Talmo进行深夜聊天,他意识到这些方法可以有力地应用于他们自己的数据:果蝇在求偶仪式中互动的视频,“Murthy说。“合作从那里开始,共同合作令人难以置信 - 迭戈和Talmo展示了这些AI方法的有效性。”
英国皇家兽医学院结构与运动实验室的高级讲师Monica Daley表示,这项工作在神经科学之外也具有巨大的潜力,他没有参与这项研究。
“我的大部分研究旨在了解动物如何在不同的地形和环境条件下有效地移动,”戴利说。“该领域最大的持续挑战之一是从视频片段中提取有关动物运动的有意义的信息。我们要么手动处理视频,需要花费数小时的繁琐工作,要么专注于可以自动化的非常简单和有限的分析。在本文中,我们有可能比以前更加自动化劳动密集型工作,这可以让我们研究更多种类的动物运动行为。“
一旦他们拥有运动和行为数据库,团队中的神经科学家就可以与他们背后的神经过程建立联系。这将使研究人员“不仅可以更好地了解大脑如何产生行为,”Shaevitz说,“而且还要探索依赖计算机解释某人行为的未来诊断和疗法。”
哈佛大学的研究人员在夏季分享了一个类似的工具,他们使用现有的神经网络架构,而普林斯顿大学的团队创建了自己的工具。“我们的方法和他们的方法有不同的优势,”Murthy说。“现在这是一个令人难以置信的令人兴奋的领域,在开发用于研究行为和神经活动的AI工具方面有很多活动。”
“我们使用不同的方法,通过专注于快速专注于新数据集,更小,更精简的网络可以实现高精度,”佩雷拉说。“更重要的是,我们表明现在有通过AI进行动物姿势跟踪的易用选项,我们希望这可以鼓励该领域开始采用更加量化和精确的方法来衡量行为。”
“在过去五年中,神经科学在技术观察和操纵大脑活动方面取得了巨大进步,”共同作者,分子生物学和PNI教授Samuel Wang说。“现在,行为的自动分类为该技术增添了重要的补充。普林斯顿正在成为计算神经伦理学萌芽领域的中心枢纽。”
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
试驾极狐阿尔法S(ARCFOX αS)是一次令人印象深刻的体验。从咨询开始,品牌的专业客服迅速回应了我的疑问,...浏览全文>>
-
如果您想预约哈弗猛龙的试驾体验,可以按照以下步骤快速在4S店完成预约:首先,您可以通过哈弗汽车的官方网站...浏览全文>>
-
如果您想体验零跑汽车的试驾服务,可以通过以下步骤在4S店快速预约:首先,访问零跑汽车的官方网站或通过其官...浏览全文>>
-
试驾奔驰迈巴赫S级的预约流程简单清晰,以下是具体步骤:首先,访问奔驰官方网站或联系当地授权经销商。在网站...浏览全文>>
-
纳米01试驾流程通常包括以下几个步骤:第一步:预约试驾用户可以通过品牌官网、4S店或电话预约试驾。提前预约...浏览全文>>
-
奔腾B70是一款集时尚设计与卓越性能于一身的中型轿车,近期有幸对其进行了一次深度试驾。这款车型不仅外观大气...浏览全文>>
-
想要快速预约福特蒙迪欧的试驾体验驾驶乐趣?以下是一些简单步骤帮助您轻松完成:首先,访问福特官网或通过福...浏览全文>>
-
大众试驾,轻松搞定试驾想要深入了解一款车的性能与驾驶感受?试驾是最佳选择!无论是追求操控感的运动型轿车...浏览全文>>
-
试驾现代胜达时,您需要满足一些基本条件以确保安全和顺利的体验。首先,您必须持有有效的驾驶证,并且驾龄通...浏览全文>>
-
小鹏G7是一款备受关注的智能电动车,对于新手来说,试驾前需要了解一些关键步骤和注意事项,确保安全且充分体...浏览全文>>
- 哈弗猛龙预约试驾,如何在4S店快速预约?
- 零跑汽车试驾,如何在4S店快速预约?
- 江淮iEV7试驾预约预约流程
- 试驾MG4 EV全攻略
- 奥迪SQ5 Sportback预约试驾,线上+线下操作指南
- 全顺试驾预约,一键搞定,开启豪华驾驶之旅
- 魏牌预约试驾全攻略
- 试驾零跑汽车零跑C01,畅享豪华驾乘,体验卓越性能
- 试驾哈弗H6操作指南
- 零跑T03试驾,畅享豪华驾乘,体验卓越性能
- 菱势汽车预约试驾,轻松搞定试驾流程
- MINI试驾,线上+线下操作指南
- 试驾沃尔沃XC60,从预约到试驾的完美旅程
- 试驾QQ多米,畅享豪华驾乘,体验卓越性能
- 试驾丰田汉兰达,一键搞定,开启豪华驾驶之旅
- 力帆预约试驾,一键搞定,开启豪华驾驶之旅
- 阿维塔12预约试驾,4S店体验全攻略
- 试驾江铃E路顺V6,简单几步,开启完美试驾之旅
- 灵悉L试驾预约,如何享受4S店的专业服务?
- 极氪7X试驾,如何享受4S店的专业服务?