借助人工智能进行口型同步

将来，配音电影可能会变得更加容易。由萨尔布吕肯市马克斯·普朗克信息学研究所的研究人员领导的一个团队开发了一套软件包，该软件包可以适应演员的嘴巴动作和整个面部表情，使其与电影的翻译相匹配。该技术使用基于人工智能的方法，可以在电影配音方面为电影业节省大量时间和金钱。该软件还可以纠正视频会议中参与者的凝视和头部姿势，以增强自然对话设置的印象。

电影翻译和配音演员在一系列严格的限制内工作。毕竟，他们必须确保他们在演员口中所说的话不仅准确地再现了所说的话，而且还与演员的嘴唇动作和面部表情相对应。现在，由马克斯·普朗克信息研究所的研究人员领导的国际团队 在温哥华的SIGGRAPH计算机图形学会议上展示了一种称为“深层视频肖像”的技术 。该技术消除了将翻译的音轨与视频镜头中的面部表情同步的需求。取而代之的是，该软件可以调整演员的面部表情，尤其是他们的嘴唇动作，以匹配翻译。

同步的面部表情：使用3D面部模型(中心)工作的Deep Video Portraits技术，可以将一个人的面部表情，凝视方向和头部姿势(输入)转移到另一个人(输出)上。学分：信息学MPI

该软件是由一个团队开发的，该团队不仅包括萨尔布吕肯的Max Planck研究人员，还包括巴斯大学，Technicolor，慕尼黑工业大学(TUM)和斯坦福大学的科学家。与只能对视频中的面部表情进行动画处理的现有方法相比，该新技术还可以适应头部的姿势，凝视和眨眼。如果头部移动，它甚至可以合成合理的静态视频背景。

该技术可以改变视觉娱乐产业

为了真实再现特征，研究人员将面部模型与基于人工智能的方法结合使用。“我们在视频中使用基于模型的3D面部表情捕获来记录配音演员的眉毛，嘴巴，鼻子和头部位置的详细运动，”马克斯·普朗克信息学研究所研究员Hyeongwoo Kim解释说。“它通过使用基于模型的3D面部表情捕获来在视频中记录配音演员的眉毛，嘴巴，鼻子和头部位置的详细动作，从而发挥作用。”

目前，该研究仅展示了一个新概念，该方法尚未付诸实践。但是，研究人员认为，该技术可以完全改变视觉娱乐行业的各个领域。“尽管进行了大量后期制作操作，但将电影配音成外语始终会导致屏幕上的演员与配音之间存在不匹配，”马克斯·普朗克信息学研究所的研究小组负责人克里斯蒂安·特奥巴特(Christian Theobalt)说。当前的工作。“我们新的 Deep Video Portraits 方法使我们能够以高度真实感传递头部姿势，面部表情和眼睛动作来修改目标演员的外观。”

视频会议中更自然的对话设置

除了将电影真实地渲染为其他语言之外，该方法还具有在电影制作中的一系列其他应用。“这项技术还可以用于电影业的后期制作，在当今的故事片中，人脸的计算机图形编辑已被广泛使用，”代表巴斯大学的动作捕捉参加该项目的克里斯蒂安·理查德(Christian Richardt)说。 CAMERA研究中心。这种类型的编辑的一个例子是 本杰明·巴顿的《好奇案》，几乎在电影的每一帧中，布拉德·皮特(Brad Pitt)的脸都被修改后的计算机图形版本所取代。到目前为止，此类干预通常需要训练有素的艺术家进行数周的工作。理查德说：“深度视频人像展示了将来如何以更少的精力来创造这样的视觉效果。” 使用新方法，可以轻松地编辑演员头部的位置及其面部表情，以巧妙地改变摄像机的角度或场景取景，从而更好地讲述故事。

此外，新技术还可以用于视频和VR电话会议中，例如，人们通常看着屏幕而不是看着摄像机。结果，他们似乎没有在视频链接另一端的对话伙伴的视线中注视。借助Deep Video Portraits，可以纠正凝视和头部姿势，以创建更自然的对话设置。

神经元网络会检测到已编辑的视频

该软件为视觉媒体制作中的许多新创意应用铺平了道路，但作者也意识到滥用现代视频编辑技术的潜力。媒体行业多年来一直在编辑照片，但是现在，编辑视频变得越来越容易，结果也越来越令人信服。斯坦福大学(Stanford University)的迈克尔·佐尔弗(MichaelZollhöfer)说，鉴于视频编辑技术的不断改进，我们也必须开始对视频内容变得更加严格，就像我们对照片一样，尤其是在没有原始证明的情况下。“我们认为，数字取证领域应该并且将来会受到越来越多的关注，以开发能够自动证明视频剪辑真实性的方法。”

Zollhöfer坚信，采用更好的方法，即使我们人类可能无法用自己的眼睛察觉到这种变化，将来也有可能发现这种修饰。提出新视频编辑软件的研究人员也正在解决此问题。他们正在开发经过训练的神经元网络，以高精度检测合成生成或编辑的视频，从而使发现伪造品变得更加容易。

科学家们目前还没有计划公开发布视频修改软件。此外，他们说，任何此类软件都应在视频中留下水印，以便清楚地标记修改内容。

标签： 人工智能