不老男神|因为催婚,我想到AI版演员:如何让刘德华帮我相亲

这里的AI版演员,其实是加持了AI技术通过视频表达出来的一段娱乐片段而已。做这个视频纯粹是因为来自一个三十好几单身人的老父亲的催婚。这个是前天做的东西,当时想着发个征友信息,自己不出境,就想到了用AI这个思路。当然说用了人工智能技术看似很高端,其实我此次用AI合成的视频技术上并没多大新技术,都是前两三年出来的技术,所以很一般,娱乐片段而已。效果嘛,没有特别的后期,懂的都懂。

思路就是,让有辨识度和知名度的明星演员来“代言”,对镜头说一段给小兄弟(我)帮忙找结婚对象的话。首先是演员,请不老男神天王刘德华吧。当然真的咱肯定请不来,那就弄个人工智能版的“刘德华”。那就是找一个刘德华的图片,通过表情迁移,让“他”念一段文案。而话则由另一个AI语音克隆技术来实现。
不老男神|因为催婚,我想到AI版演员:如何让刘德华帮我相亲
文章插图

其实刚开始也没刻意找刘德华。只不过要让AI模仿说话,就得剪辑一些纯净的演员的原声。而这个纯净就是演员说话,就不能有杂音,不要有背景乐等噪声噪点。所以机智客刚开始在网上闲逛时,搜的几个口碑好的明星演员视频片段,测试了下带背景乐的声音并不好,看刘德华那个可以就懒得再做别的了。当然音频处理软件也可以处理,不过经过实际操作,效果还是很差,于是选择了第一个无背景乐能用的原声来“喂”AI了。说明:其实我做了较长的一段成品视频,只不过中间音频有点违和,于是去掉了后面一大段。

综上所述,这个视频涉及到了两个技术点,如何让照片开口说话做表情,如何让合成的声音像刘德华。第一个功能实现,就是用2020年开源并比较流行的yanderify项目。这是用了pytorch的AI。可以用于表情迁移,将一段原视频里的人脸表情迁移到一张图片中。当然关于这个表情迁移,也有其他AI实现方法,这里只是用了一个。而另外一个功能实现,则是要用到大名鼎鼎的谷歌语音克隆技术,也就是real time voice cloning项目。这个是一个端到端的TTS(Text-to-Speech)加voice conversion的框架。也就是它并非是从一种声音到另一种声音,而是从一种声音、文字到另一种声音。

于是,这个人工智能版刘德华帮我相亲的小视频应运而生。看看吧,天王巨星“刘德华”刘在视频里对大家说,大家好,我是人工智能版刘德华,今天我为我的小崔小兄弟找一个结婚对象……倍儿有面子不是。哈。当然了,玩笑归玩笑,真的刘德华的确请不动,故而刘德华帮我相亲的视频是假的(当然目前的AI深度学习还有一定的问题,就是不说想必大家也能看出来是假的),不过“刘德华”说的内容可是真的:三十大几的单身老光棍的确需要结婚。
【 不老男神|因为催婚,我想到AI版演员:如何让刘德华帮我相亲】