三星的人工智能无需3D建模即可为绘画和照片添加动画效果
三星位于莫斯科的AI中心和Skolkovo科学与技术研究所的工程师和研究人员创建了一个模型,可以从图像生成逼真的动画说话头,而无需使用传统方法,如3D建模。
三星去年在莫斯科,剑桥和多伦多开设了AI研究中心。
“实际上,学习过的[a]模型可以作为一个人的真实化身,”工程师Egor Zakharov在一段视频中解释了结果。
文中所见的着名面孔包括玛丽莲梦露,阿尔伯特爱因斯坦,达芬奇的蒙娜丽莎和吴唐氏族的RZA。专注于合成真实感头像和面部地标的技术可应用于视频游戏,视频会议或数字化身,如三星Galaxy S10现有的那种。Facebook还在为其虚拟现实计划制作逼真的虚拟形象。
这种技术显然也可以用来创造深度伪造。
少数镜头学习意味着模型可以仅使用个人的一些甚至一个图像来开始使面部动画化。在模型可以为以前看不见的面部设置动画之前,使用VoxCeleb2视频数据集进行元训练。
在训练过程中,系统创建三个神经网络:嵌入式网络将帧映射到矢量,生成器网络映射合成视频中的面部地标,并且鉴别器网络评估生成的图像的真实性和姿势。
“至关重要的是,该系统能够以特定于人的方式初始化发生器和鉴别器的参数,以便训练可以仅基于少量图像并快速完成,尽管需要调整数千万个参数。我们表明,这种方法能够学习高度逼真和个性化的新人甚至肖像画的谈话头模型,“共同作者在关于arXiv的论文摘要中说。
在最近为模仿人脸而开发的其他形式的人工智能中,华盛顿大学的研究人员去年分享了他们如何创建基于Pix2Pix的唇形同步模型ObamaNet,并对前美国总统的视频进行了培训。
去年秋天,加州大学伯克利分校的研究人员推出了一个模型,该模型使用YouTube视频训练人工智能数据集进行舞蹈或进行杂技动作,如后空翻。
标签: 人工智能