生成手势以伴随虚拟座席语音的模型
虚拟助手和机器人正变得越来越复杂,具有交互性并且类似于人。但是,要完全复制人类的交流,人工智能(AI)代理不仅应该能够确定用户在说什么并产生适当的响应,还应该模仿他们的说话方式。
卡内基梅隆大学(CMU)的研究人员最近进行了一项研究,旨在通过产生自然手势来伴随他们的语音来改善虚拟助手和机器人与人之间的通信方式。他们的论文预先发表在arXiv上并准备在2020年欧洲计算机视觉会议(ECCV)上发表,介绍了Mix-StAGE,这是一种新模型,可以产生不同风格的共语音手势,最适合与之对应的语音。演讲者和他/她在说什么。
进行这项研究的研究人员之一Chaitanya Ahuja对TechXplore说:“想象一下您正在通过虚拟现实耳机在虚拟空间中与朋友交流的情况。” “耳机只能听到您的声音,而看不到您的手势。我们模型的目标是预测伴随语音的手势。”
当人们与他人交流时,他们通常会有独特的手势方式。Ahuja和他的同事们希望创建一个可将这些个体差异考虑在内的共语音手势生成模型,以产生与说话人的声音和个性相一致的手势。
Ahuja说:“ Mix-StAGE背后的关键思想是为许多不同样式的手势学习一个通用的手势空间。” “此手势空间包含所有可能的手势,这些手势按样式分组。Mix-StAGE的后半部分学习如何在与输入语音信号同步的同时预测任何给定样式的手势,这一过程称为样式转移。”
Mix-StAGE受过训练,可以为多个说话者产生有效的手势,学习每个说话者的独特风格特征,并产生与这些特征匹配的手势。另外,该模型可以为另一位演讲者的语音生成一个演讲者风格的手势。例如,它可以生成与说话者A所讲的手势相符的手势,而手势通常由说话者B使用。
Ahuja解释说:“与以前的方法要求每种样式都需要一个单独的模型不同,我们能够教一个单一的模型(即涉及较少的内存)来代表许多手势样式。” “我们的模型利用手势样式之间的相似性,同时记住每个人(即每种样式)的独特之处。”
在最初的测试中,由Ahuja和他的同事开发的模型表现出色,可以产生不同样式的逼真的有效手势。此外,研究人员发现,随着他们增加用于训练Mix-StAGE的扬声器的数量,其手势生成准确性大大提高。将来,该模型可以帮助增强虚拟助手和机器人与人类进行交流的方式。
为了训练Mix-StAGE,研究人员编辑了一个名为Pose-Audio-Transcript-Style(PATS)的数据集,其中包含25个说话的人的语音记录,总计250个小时以上,并且手势匹配。该数据集很快将被其他研究团队用于训练其他手势生成模型。
“在我们目前的研究中,当生成手势时,我们专注于语音的非语言部分(例如,韵律),” Ahuja说。“我们为下一步感到兴奋,我们还将语音的言语部分(即语言)作为另一种输入。假设是语言将有助于特定类型的手势,例如图标或隐喻手势,其中说话的意思可能是最重要的。”
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
试驾极狐阿尔法S(ARCFOX αS)是一次令人印象深刻的体验。从咨询开始,品牌的专业客服迅速回应了我的疑问,...浏览全文>>
-
如果您想预约哈弗猛龙的试驾体验,可以按照以下步骤快速在4S店完成预约:首先,您可以通过哈弗汽车的官方网站...浏览全文>>
-
如果您想体验零跑汽车的试驾服务,可以通过以下步骤在4S店快速预约:首先,访问零跑汽车的官方网站或通过其官...浏览全文>>
-
试驾奔驰迈巴赫S级的预约流程简单清晰,以下是具体步骤:首先,访问奔驰官方网站或联系当地授权经销商。在网站...浏览全文>>
-
纳米01试驾流程通常包括以下几个步骤:第一步:预约试驾用户可以通过品牌官网、4S店或电话预约试驾。提前预约...浏览全文>>
-
奔腾B70是一款集时尚设计与卓越性能于一身的中型轿车,近期有幸对其进行了一次深度试驾。这款车型不仅外观大气...浏览全文>>
-
想要快速预约福特蒙迪欧的试驾体验驾驶乐趣?以下是一些简单步骤帮助您轻松完成:首先,访问福特官网或通过福...浏览全文>>
-
大众试驾,轻松搞定试驾想要深入了解一款车的性能与驾驶感受?试驾是最佳选择!无论是追求操控感的运动型轿车...浏览全文>>
-
试驾现代胜达时,您需要满足一些基本条件以确保安全和顺利的体验。首先,您必须持有有效的驾驶证,并且驾龄通...浏览全文>>
-
小鹏G7是一款备受关注的智能电动车,对于新手来说,试驾前需要了解一些关键步骤和注意事项,确保安全且充分体...浏览全文>>
- 哈弗猛龙预约试驾,如何在4S店快速预约?
- 零跑汽车试驾,如何在4S店快速预约?
- 江淮iEV7试驾预约预约流程
- 试驾MG4 EV全攻略
- 奥迪SQ5 Sportback预约试驾,线上+线下操作指南
- 全顺试驾预约,一键搞定,开启豪华驾驶之旅
- 魏牌预约试驾全攻略
- 试驾零跑汽车零跑C01,畅享豪华驾乘,体验卓越性能
- 试驾哈弗H6操作指南
- 零跑T03试驾,畅享豪华驾乘,体验卓越性能
- 菱势汽车预约试驾,轻松搞定试驾流程
- MINI试驾,线上+线下操作指南
- 试驾沃尔沃XC60,从预约到试驾的完美旅程
- 试驾QQ多米,畅享豪华驾乘,体验卓越性能
- 试驾丰田汉兰达,一键搞定,开启豪华驾驶之旅
- 力帆预约试驾,一键搞定,开启豪华驾驶之旅
- 阿维塔12预约试驾,4S店体验全攻略
- 试驾江铃E路顺V6,简单几步,开启完美试驾之旅
- 灵悉L试驾预约,如何享受4S店的专业服务?
- 极氪7X试驾,如何享受4S店的专业服务?