人工智能配音(配音会被ai取代吗)

北青网讯 大卫·贝克汉姆不会说 ********* 语、印地语或普通话。但是，当这位足球传奇人物在今年春天主演了一个关于疟疾意识的公益广告时，他毫不费力地转换了这六种语言和其他六种语言，这要归功于尖端技术，它可能很快就会改变好莱坞电影和电视节目的本地化方式。

问题中的PSA是用Synthesia公司的技术制作的，Synthesia是一家总部位于伦敦的初创公司，使用人工智能进行配音。以贝克汉姆为例，该公司用自己想使用的每种语言录制了这位足球明星以及以这些语言为母语的人的视频。

然后，它将所有原始视频输入一个算法，该算法“学习”西班牙语和约鲁巴语等语言中每个单词的面部表情，并相应地调整贝克汉姆的面部视频。合成器的联合创始人兼首席运营官史蒂芬·杰里尔德(Steffen Tjerrild)解释说:“你这个木偶演员的视频。”“我们有真正的假唱。”

基于人工智能的视频编辑因其黑暗面而备受关注，最著名的是“深度伪造”现象——色情视频被所谓的基于深度学习的算法修改，以令人信服地呈现名人的面孔。然而，合成器的工作表明，这项技术对好莱坞也有很大的潜力，配音是人们感兴趣的一个关键领域。

传统上，配音是在不改变源视频的情况下完成的。相反，当地编剧的目标是将翻译后的对话与屏幕上的动作匹配起来。“准备这些脚本需要花费很多时间，”Tjerrild说。更重要的是，配音演员必须准确把握好时间，以确保配音不会让人感觉不舒服，这一过程可能需要几周的时间才能完成。

迪士尼研究公司(Disney research)负责研究的副总裁马库斯•格罗斯(Markus Gross)也认为，通过调整演员的嘴巴动作来适应当地语言，人工智能可以显著缩短这些时间线，使配音更加准确。“如果我们有可能在后期制作中改变嘴唇的运动，那将是一件大事，”他说。“它指出了一种方法，可以让假唱和演员说那种语言时的行为无法区分。”

迪士尼研究公司已经在语音动画的深度学习方面做了一些工作，并正在寻找将这项技术应用于特效的方法。虽然配音并不是工作室研究部门的首要任务，但格罗斯表示，他对配音的可能性很感兴趣。他表示:“对我们来说，这肯定就在眼前。”

配音对好莱坞来说变得越来越重要，因为各大媒体公司都以自己的流媒体服务为全球消费者提供服务。以Netflix为例，该公司正在用31种语言进行配音，并从去年开始以外国原创电影的配音版本为目标受众。“我们非常认真地对待这项新举措，”该公司负责国际配音的黛布拉?

这家流媒体巨头一直在探索将配音的某些方面自动化的方法，但Chinn警告说，技术的能力可能有限。“配音是一门艺术，”她说。“这是一个创造性的过程。”

确实存在技术问题。合成器的技术在演员直视镜头时效果最好，但在侧面拍摄或动作场景时效果较差。

教授算法每个演员的面部特征也很有挑战性。“没有演员会说20种语言，”格罗斯说。虽然一种算法可以很好地让它看起来像某人的嘴巴在形成外语单词，但它不知道莱昂纳多·迪卡普里奥(Leonardo DiCaprio)这样的演员是如何用普通话表达台词的。

格罗斯说，最终，电影公司可能不得不与实际用户一起测试他们的配音。“我们必须把结果公布给很多人，然后问他们觉得这是真的还是看起来很奇怪。”

在动画中，使用人工智能配音的要求将会降低，因为在动画中，这项技术还可以被用来更好地匹配角色的口型动作和原始语言。“这是一个重要的步骤，以较低的价格制作高质量的动画，”格罗斯说。

这些节省可能有助于说服好莱坞在不久的将来接受这种技术。“在接下来的两三年内，”格罗斯说，“我们会看到第一批申请。”