视频换脸新境界:CMU不仅给人类变脸,还能够吃花草、天气变脸 | ECCV 2018

原本标题:视频换脸新境界:CMU不仅让人类变脸,还能叫花草、天气变脸 | ECCV
2018

近日某 Reddit 用户用“神奇女侠” 盖尔·加朵(Gal Gadot)
的脸,P到了成长视频及,效果相当对,而且他下的是眼前火爆的机器上技术。

圆栗子 发自 凹非寺

顿时无异术的关键在于,替换的脸要和原视频上的面子表情同步。大致原理是经过算法识别出人脸的一定组织——不仅仅是肉眼、鼻子、嘴巴的职务,也席卷颧骨、下巴、脸颊的形制,然后按照这些特征点做替换。目前眼看无异于术并无达到以假乱真的程度。

图片 1

图片 2张冠李戴:P得看不起破绽,右:破绽明显

管同段落看到频里的颜面动作,移植到另外一样截视频的骨干脸孔。

事实上看似之脸面替换技术,早就被周边运用在大片里了。例如半兽总人口、咕噜、阿凡达,它们还因此了动作捕捉(Motion
Capture)技术。动作捕捉技术时用于电影工业,游戏产业,比如:

大家可能早已习惯如此的操作了。

图片 3《加勒比海盗》中的戴维·琼斯(Davy
Jones)图片来源:gamedev.stackexchange.com

图片 4

图片 5小岛秀夫的《死亡搁浅》,什么时候卖啊?(打岔)图片源于:dualshockers.com

纵然目标主角并无是全人类,大概为总算不达美好。眼睛鼻子嘴,至少组件齐全

图片 6去深井冰,哦不,史矛革的卷福
图片来自:businessinsider.com.au

那么,怎样的迁移才可走来是局面,让这个星球上的万物,都发生时机领取视频改造的恩泽?

严说,这同一技艺属于动作捕捉技术之一个小类,叫面部捕捉(face
capture)。那些脸上的黄点,是神变化备受之重中之重点,就比如脸的“关节”一样,计算机只待这些信就是会合成表情。而以颜识别术中,它吃称为面部追踪(face
tracking)。

图片 7

图片 8脸部的接触是“关节”,连上线成为骨骼.图片源于:petapixel.com

遵在你想如果之点子开花:中老年神情包利器

多数经贸作品只是用这种技术制造奇幻生物,然而工业光魔公司(Industrial
Light & Magic)更进一步,在银幕上复活了既故演员。

源于卡耐基梅隆大学的团组织,开发了自行变身技能,不论是花花草草,还是万千气象,都能自要转换。

图片 9谬误:合成的(Synthetic)彼得·库欣扮演的威尔霍夫·塔金,右:演员盖·亨利
图片来自:nytimes.com

图片 10

恐怖片演员彼得·库欣逝世于1994年。2016年以电影《星球大战外传:侠盗一号》中,技术人员将他拉扯进现代的巨幕。这员“现代”演员的潜是另外一号演员盖·亨利,技术人员捕捉了盖·亨利的神,然后合成了数字版的彼得·库欣。虽然个别各项演员的脸挺相似之,但是技术人员仍旧要拍卖过剩细节问题,比如彼得·库欣发“啊”这个文章的时节是未动达成嘴唇的。

开口,也移得急切了

即同技能引发了诸多争议,一些人表示不可知接受。虽然电影赢得了画像授权,仍旧有一对伦理问题待回答,我们应有以荧幕上复活故去的演员也?

或许是抱超越大前辈Cycle-GAN(来自朱俊彦集团)
的代表,团队受自家的GAN起了个很环保之讳,叫Recycle-GAN

深度上,另排路

动作捕捉技术的关键在于识别人的神采,特别是脸蛋那些根本的位点。而深上技术吗能满足这同样渴求,一些研集体还演示了鱼目混珠美国前方部小布什,奥巴马,现任总统特朗普,以及俄国总理普金的视频。

图片 11Face2Face
算法演示,上面的人资表情信息,下面的口提供脸的信息 图片来自:QUARTZ

纵深上技术及那些专门的录像工业技能对比,得到的结果使粗糙很多,更易辨认出来,然而她吧要惠及多。谷歌、微软、亚马逊这些酷企业之软件技术和平台都是当众的,深度上技能飞速发展,很多舆论都于研究者之间共享,而且家用级别的显卡就可知处理深度上算法,不必然要是因此到讲话计算和跨越级计算机等技能。

而是当时尚没有得了,面部捕捉技术都能手机上就此了,比如 iPhone X 的 Animoji
技术。能够用于识别面部表情的技术就可知用来充表情。

图片 12苹果之
Animoji 图片来源于:businessinsider.com

图片 13苹果官方的言传身教
图片源于:medium.com

一些技术爱好者也着以马上等同技能移植到安卓手机上,我建议谨慎采用这些app。另外也期待手机的软硬件厂商更加专注信息之安康,我们以获便利的以,手机也蕴藏了再次多之私密信息,手机及电脑系统本身的安全性也值得花重新多的劲去尊重,而未是任起独补丁然后还要给补丁失效。

哼吧,已经能以假乱真视频了,但声音还是过去不了借的?吧?

并无是,Adobe 公司当2016年示范了 Voco
技术,他会被您简简单不过输入文字虽能够顶人的响动。到目前为止这项技能都未曾观看商业化的蛛丝马迹,技术示范过程被Adobe表示,他们会在技术上做类似水印的物,帮助人识别假冒之鸣响。

刚巧,加拿大底AI创业公司 Lyrebird
在2017年4月份声明,只要发生1分钟之样本,他们即能模拟起而的声息。这任起比
Adobe 的技术还要夸张,因为 Adobe 声称她需20分钟的范本。

望此,可能而都懵了。所以。。。怎么惩罚?

实则采取特效技术伪造视频很已经有了,Zach King
就是各种翘楚。有些仅仅是玩,有些东西也是别有用心。总之,毫无盲目相信网上看到的视频

图片 14居家只是玩玩一下哪
图片源于:pinterest.com

自此,随意在网上的照、视频、声音、文字都用认真去对待,因为它会吃人就此来充数我们自己。我们则不是权贵富豪,但也禁不住损失。

自身想既有人发现及假冒视频的祸,开始举行就仿佛识别了,很快创业企业即会见要雨后春笋一般出现。本文作者将由技术及影响力有限者跟这个业务的拓展。

即号选手,入选了ECCV 2018

Recycle之志,时间掌握

Recycle-GAN,是一只无监控上的AI。

不成对的第二维图像数据,来训练视频还定向(Video Retargeting)
并无易于:

平是,如果无成对数据,那在视频变身的优化上,给的限制即便不够,容易出不良局部极小值
(Bad Local Minima) 而影响生成效果。

其次凡,只因二维图像的空间信息,要修视频的风格纵使坏困难。

图片 15

乃开,我就是放

针对当下片只问题,CMU团队提出的方,是以光阴信息(Temporal
Information) 来施加更多之界定,差局部极小值的面貌会减小。

另外,时间、空间信息的陪衬食用,也能为AI更好地模仿到视频的风格特征

图片 16

光阴信息:进度长长的支撑不停止了 (误)

着重之凡,视频里的日子信息唾手可得,无需找。

下一场,看一下Recycle-GAN,是怎么当区区段视频的图像中,建立映射的。

图片 17

其三各选手相比一下

Pix2Pix是发生成对数据的;CycleGAN靠的凡循环一致性 (Cycle Consistency)
;RecycleGAN用之是盼频流的时间信息

频繁的,比CycleGAN的进程还要艰辛。好像终于感受及,Recycle-GAN这个名字是来道理的。

对阵损失(Adversarial Loss) ,朱俊彦集团的循环损失(Cycle Loss)
数损失(Recurrent Loss)
,以及CMU团队团结造的“复”循环损失(Recycle Loss)
都因此上,才是有力的损失函数

职能如何?

似只有和CycleGAN比一场,才知道岁月信息哼不好用。

第一局,先来看看换脸的效用:

图片 18

RecycleGAN用奥巴马生成的川川,除了嘴唇,脸的角度为当跟着变化。而当中的CycleGAN,只出嘴的动作比较明确。

第二局,你见了蒲公英开花的金科玉律么:

图片 19

当RecycleGAN的蒲公英,学着菊花的动作,变成茂密的团子,CycleGAN还当渐渐地放。

在意,团队是预先将少种植消费,从初起至全凋谢的时空调整成一致。

除却,再看云卷云舒 (片头也出现过) :

图片 20

本是空地活动。

跟喷气一般的称,学习了后,就获了急躁的韵律。

图片 21

这样一来,改变天气就无碍事矣。团队说打录像的资本,可以用这样的计降低下来。

代码也急忙来了

图片 22

CMU的科学家等说,大家快就可以看到代码了。

不过以那之前,我们还是生很多资源得以赏。

团队在品种主页里,提供了增长的扭转效果:

https://www.cs.cmu.edu/~aayushb/Recycle-GAN/

论文请到此处考察:

https://www.cs.cmu.edu/~aayushb/Recycle-GAN/recycle\_gan.pdf

最后吐个槽

本来是日落:

图片 23

在押了黎明前的视频,就跟着变了日出:

图片 24

不过,日落变日出这样的操作,直接倒放不好么?

—回到搜狐,查看更多

责任编辑:

admin

网站地图xml地图