欢迎访问“国际科技时报”,本网以独特视角呈现科技行业的大事小事,内容包括互联网、IT业界、通信、趋势、科技新闻等,全面快速第一时间发布科技最新资讯动态。

主页 > 新闻 > 【科技】将声音片段变成能口型一致的视频,仅需1小时

【科技】将声音片段变成能口型一致的视频,仅需1小时

来源:网络转载更新时间:2021-01-11 18:22:02阅读:

本篇文章860字,读完约2分钟

【每日科技网】

近日,据媒体报道,美国研究人员开发了一种机器学习算法,可以将声音片段变成能口型一致的视频文案。

研究人员展示的这段视频显示了美国前总统巴拉克·奥巴马(barack obama)谈论恐怖主义等多家话题的场景,但这实际上却是采用现有的视频演讲人工生成的片段。

该系统对神经互联网进行训练,使之学会观看人类讲话的视频,然后将音频文件转化成真实的口型。之后再将其嫁接到视频中的人脸上。为了实现这一目标,他们将该校图形实验室之前的研究成果,与最新的口型合成技术结合起来。

【科技】将声音片段变成能口型一致的视频,仅需1小时

该技术还可以实现小幅时移,从而让神经互联网预测说话者接下来所要表达的文案。该团队之所以选择奥巴马,是因为这套系统需要14小时的视频进行学习,而作为全世界上镜率最高的人之一,奥巴马显然是最佳人选。

skype或messenger这样的视频聊天工具未来可以让任何人收集视频,然后对电脑进行训练。华盛顿大学的伊拉·开梅尔马切-什利泽曼(ira kemelmacher-shlizerman)说。

由于通过网络传输音频所需的带宽远低于视频,所以这套新系统或许可以终结故障频频的视频聊天。

当你采用skype或google hangouts聊天时,会发现连接不太顺畅,分辨率也很低,这令人很不高兴,但音频往往很好。该论文的联合作者、艾伦学院教授史蒂夫·赛茨(steve seitz)说,所以,如果可以采用音频生成更优质的视频,那就太好了。

【科技】将声音片段变成能口型一致的视频,仅需1小时

之前的音频转视频技术要点是录制多家人反复说同一句话的视频,然后尝试捕捉声音与不同口型之间的关联性。但这一过程价钱高昂,而且非常费时。

通过将这一过程调转过来将视频提供给互联网,而不仅仅是音频该团队可能开发各种算法来评估一段视频的真伪。然而,这种神经互联网目前只能一次学习一个体。

你不能随便找个体就把它的声音转化成奥巴马的视频。赛茨说,我们对此非常谨慎,不希望从某个体嘴里说出其他人的话。我们只是把某人说过的话变成此人的视频。

来自华盛顿大学的研究人员相信,该系统可以最终用于改进视频通话,甚至明确某段视频的真伪。

标题:【科技】将声音片段变成能口型一致的视频,仅需1小时

地址:http://www.greenichiban.com/news/12776.html

免责声明:国际科技时报是中国具有影响力的科技媒体,以全球视角,第一时间呈现最新科技资讯。所著的内容转载自互联网,本站不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2031@163.com,国际科技时报的作者:何鸿宝将予以删除。

国际科技时报简介

国际科技时报是一家拥有全球视野的前沿科技媒体,是中国高新技术企业门户网站,旨在构建打造国际化、专业化的高新技术资讯与资源交流大平台,国际科技时报涵盖物联网、云计算、智能硬件、智能家居、可穿戴设备、VR、安防、锂电、新能源汽车、汽车科技、仪器仪表、传感器、3D打印、工控、机器人、人工智能、医疗科技、节能环保、智能电网、风电等高科技领域,每个行业网站均独立运营,已成为国内外各大媒体高科技行业资讯内容的主要提供者。