首页 文章详情

马斯克和特朗普纷纷变身摇滚歌手!WOMBO:上传大头照和歌曲自动生成歌唱视频的App

新智元 | 1179 2021-04-09 14:34 0 0 0
UniSMS (合一短信)



  新智元报道  

来源:Independent
编辑:LZY、yaxin
【新智元导读】通过Deepfake技术实现AI换脸的软件越来越多,最近正火的Wombo AI不仅可以换脸还能结合图片自动生成歌曲表演,真是有趣。连特斯拉的CEO马斯克和美国总统纷纷加入,一大批鬼畜搞笑视频纷涌而至。在人工智能和流量的时代,隐私问题又被提出,到底谁才可以阻止信息泄露等社会问题,防止走向堕落呢?

一个新的应用程序几乎可以在照片上直接唱歌,已经在社交媒体上大受欢迎。

 美国前总统特朗普和美国现总统拜登纷纷中招,先来看看视频效果吧!
 
 
特朗普唱歌的样子让人不禁想起了他的口头禅:「No one knows singing better than me!」
 
 
拜登唱歌的样子也完全没有迷糊小老头的感觉了!


这是什么软件!大揭秘!

该工具称为Wombo.AI,以iPhone或Android应用程序的形式出现,手机即可下载。
 
要使某人成为歌手,所有人需要做的所有事情就是下载该应用程序,选择其图像或拍摄一张新照片,他不要求照片一定是“正面照”,甚至眼睛闭着也能让他睁眼。
 
再从有限的列表中选择一首歌曲,然后让该应用程序完成工作。
 
 
 如何操作呢?请看下面的视频保姆级下载及使用视频。


没错,特斯拉CEO马斯克摇身一变摇滚歌手,令人纷纷叫绝!
 
通过这个app,可以借助AI技术将声音与图片中的角色自动对上口型,静止图片中的他们也能进行开口讲话,并且还有会动的姿态表情。
 
最终效果完全看不出其本是图片还是一段影片材料。感兴趣的朋友也可以试试让你的游戏角色给你唱歌。
 
作为Wombo 的创始人,John Sommatino功不可没。
 

神奇的Deepfake技术
 
Wombo.AI 使用起来也是简单易懂,可以让任何人参与到深造或合成媒体日益增长的趋势中,给大家带来了很多欢乐。
 
这些爆款鬼畜视频离不开口型同步、Deepfake技术。
 
Deepfake是英文“deep learning”(深度学习)和“fake”(伪造)的混成词,专指基于人工智能的人体图像合成技术的应用。此技术可将已有的图像或视频叠加至目标图像或视频上。
 
基本上,Deepfakes是一种无监督的机器学习算法。
 
它训练one encoder和two decoders加工person A和person B,损失可以通过地面实况图像和解码图像之间的差来计算。
 
例如,它的训练encoder(e)提取某甲的功能,和火车一decoder(dA)到解码的功能,并产生假一的image(fA)。
 
通过比较original image和之间的差异fA,使编码器和解码器工作正常。
 
同样,相同的encoder(e)还提取B的功能,和火车一个decoder(dB)解码B的功能,并产生假B的image(fB)。
 
想一想,如果给定图像A并用于(dB)解码,会发生什么?
 
这是魔术:

换脸伪造是通过交换两张图像的人脸达到伪造身份的目的。
 
传统上是采用基于图形学的3D模型重建追踪技术。
 
较新的研究则是采用深度学习来达到换脸效果,为了解决深度学习的训练难度和生成质量,又进一步融合了生成对抗网络技术。
 
表情伪造是将其他人脸图像的表情替换到目标人脸上,从而达到目标人物做指定表情的目的。
 
此外,换脸伪造和表情伪造还常常结合语音伪造技术:通过文本到语音合成和语音转换技术来制作虚假语音。
 
关于如何裁剪视频和收集人脸的代码来啦!!
 
在train/目录中,创建两个子目录来存储视频的所有帧

「$ mkdir personA
$ mkdir personB
python crop_from_video.py」

将框架保存到personA和personB目录。
 
确保python文件中的changeVideo_Path和save_pathparameter。
 
进行两次以将王牌视频裁剪到personA目录,将我的视频裁剪到personB目录。
 
在train /目录中,创建两个子目录来存储所有框架的面部。

「$ mkdir personA_face
 #(从人物A中保存人物A的脸)
$ mkdir personB_face
 #(从人物A中保存人物A的脸)
蟒蛇crop_face.py」

用于dlib从框架中裁剪脸部并保存到personA_face和personB_face
 
##确保在python文件中更改Image_Folder和OutFace_Folder参数。
 
进行两次以将王牌脸裁剪到personA_face目录,将自己的脸裁剪到personB_face目录。
 
(更多代码可以参考HanQing Guo同学的github。
https://hanqingguo.github.io/Deepfakes)
 
总之,这些神奇的操作,其实是使用机器学习来识别需要动画的面部部分,并随着音乐及时移动它们。
 

隐私泄漏,顾虑重重


Wombo AI 的应运而生,主要用于积极的目的:讽刺、娱乐和历史性娱乐活动。
 
「当我们用爷爷的照片来做这件事时,一切都非常可爱,」密歇根州立大学负责AI的教授Anjana Susarla说,「但是您可以从社交媒体上拍摄任何人的照片,然后为它们制作可操纵的图像,就是这样。」
 
 
所以,该工具的简单性也可能引起人们对于隐私的担忧,即该应用程序对图像的处理更加危险,而不是简单地将其转变为流行音乐明星。
 
但是Wombo.AI在其隐私权政策中明确指出,它不会对应用程序中使用的任何图像提出主张。
 
许多此类应用程序建议他们可以拥有用它们编辑过的图片,但事实并非如此。
 
同样很明显,它将在创建图像后删除所谓的“面部特征数据”。
 
它承诺,尽管它可能保留一些其他信息,但只会这样做是为了改善应用程序。
 
并不是说该应用程序必须将该数据移交给其他在线服务。
 
面部数据被发送到Amazon Web Services以创建动画,分析平台Amplitude用于研究人们如何使用该应用程序-隐私权政策敦促人们在关注这些应用程序信息时对其进行检查。
 
苹果公司最近强迫所有应用程序开发人员在其App Store列表中提供有关其数据收集的详细信息。
 
Wombo的那些「营养卡」也有相同的主张:没有收集任何个人识别信息,而其他信息则保持在最低限度。
 
Wombo不是出售或使用个人数据来赚钱,而是作为一种“免费”服务运行,迫使人们付费以注册其全部功能。
 
它的费用为每月$4.49或每年$26.99(包括免费的三天试用期),处理速度更快,而且没有广告。
 
支付全额订阅费不能访问任何其他歌曲,而且即使大多数歌曲非常流行,选择范围也相对有限。
  
像Wombo类似的软件还有reface,my herritage,都是非常强劲的对手。
 
 
Wombo的未来会怎么样,让我们拭目以待!

参考资料:
https://www.independent.co.uk/life-style/gadgets-and-tech/wombo-ai-privacy-data-security-app-download-b1815658.html

good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter