机器学习算法工程师
点蓝色字关注
“机器学习算法工程师
”
设为 星标 ，干货直达！
啊？Sora火爆短片《气球人》，也“造假”了？？？
背后艺术家团队的最新揭秘，可谓一石激起千层浪：
原来，视频画面并非完全由AI生成，其中有大量视觉效果需要人类后期实现。
be like：
这下网友不干了，合着大家伙儿跟OpenAI玩真心，OpenAI背后却耍起心眼子来了：
他们含糊其辞，就是希望观众认为短片完全是AI生成的，这是不是有点不诚实了啊。
这不是人工智能生成的视频，而是使用了一些AI技术的视频。
还有网友直接开喷：误导性营销！这是误导性营销！
究竟是怎么个事儿，咱们还是具体捋一捋。
揭秘Sora大片工作流
尽管OpenAI一开始就介绍了，《气球人》这样的短片出自艺术家团队之手，他们只是把Sora开放给了艺术家使用，但官方并未提及短片具体是如何制作而成的。
现在，《气球人》背后的艺术家团队Shy Kids自己来了个大揭秘，内容包括：
-
视频片段一致性如何实现
-
他们如何处理Sora生成的视频素材
-
Sora生成视频的局限性及后期处理
视频一致性
《气球人》中主角形象的一致性可谓惊艳众人。
但实际上吧，据Shy Kids团队中负责后期制作的老哥Patrick Cederberg（简称老帕）透露，想要实现这种前后一致并不是写写提示词就能成的。
Sora并没有提供工具，来帮助实现不同镜头之间的主体一致性。也就是说，哪怕提示词都是一样的，两次运行的结果也会有所不同。
他们的做法是，尽可能详细地去对主角形象进行描述。
解释角色的服装以及气球的类型是我们解决一致性问题的方法，目前Sora还没有集成适当的功能来实现此类控制。
即便如此，团队在用Sora生成视频素材时还是遇到了不少这样那样的问题。
比如，提示词里明明写了气球是黄色的，但Sora生成的片段里气球却可能变红。
视频素材处理
一致性之外，老帕提到，在时间轴方面，Sora允许用户修改关键帧。但这种时间控制并不精准，无法保证一定能实现预想的效果。
另外，想要实现这个镜头：
即把镜头焦点从牛仔裤一路上移到气球头，也得人类自己后期裁切平移画面，因为Sora本身不会渲染这样的镜头：它总是倾向于把焦点集中在气球头上。
老帕还谈到，他们在写提示词时也遇到了一些问题：
OpenAI在让艺术家试用Sora前，并没有考虑到真正的电影制作人是如何思考的。
简单来说，就是Sora对摄影术语（比如跟拍、平移等）的理解有限。老帕认为，这一点上Sora不如Runway。
值得一提的是，尽管Sora原生支持生成1080p视频，但老帕他们实际上生成的素材都是480p的。他们是在后期使用Topaz等工具对视频素材进行了超分处理。
生成速度方面，根据老帕的回忆，每次大概需要10-20分钟的时间。
视频后期
接下来，就到了网友们反应最强烈的部分——后期。
前面已经说到，Sora本身还解决不了不同视频片段里一致性的问题。
除了气球不一定符合设定，或许是因为训练数据的原因，Sora还喜欢自动给气球加上奇奇怪怪的人脸。
给主角生成其实并不需要的假人头。
Sora还很坚定地认为气球得带根绳。
总而言之言而总之，这些都需要老帕上手丢到AE里，进行后期处理。
另外，尽管Shy Kids发现“35mm胶卷”这样的关键词很好用，能让Sora生成的视频画面风格更一致，但艺术家们仍需要为最后的成片做调色，为画面添加颗粒和闪烁效果，以使整部影片画面更加协调统一。
老帕还提到了一个有意思的细节：
Sora很喜欢慢镜头。
我不知道为什么，但有很多镜头看上去都是0.5倍速和0.75倍速。
因此我们需要对大量画面进行调速，免得影片看上去像个大型慢动作项目。
那么，Sora生成的视频素材有多少最终被用在了影片里？
“数学很差”的老帕估计了一下，大概是300:1。
音频方面，Sora目前还不能生成声音，因此旁白和音乐都是团队自己加上去的。
版权
为了不侵犯版权，OpenAI给Sora上了一些限制。
比如，你不能把提示词写成“35mm胶卷，未来宇宙飞船中，一名男子拿着光剑靠近”，那样Sora会直接拒绝生成，因为这画面太像《星球大战》了。
哦对，像什么“阿罗诺夫斯基式镜头”和“希区柯克变焦”也是不行的。
3人团队2周制作完成
该说不说，在外界卷起风波之前，Shy Kids团队对于Sora的表现还是很满意的。
毕竟，制作《气球人》这样一个高质量短片，最后只用了他们仨1.5到2周的时间。
团队认为，现在，对于专业的电影团队来说，Sora当然还有很大进步空间，但对于大部分人而言，Sora已经足够惊艳。
用老帕自己的话说：
我觉得人们应该将Sora变成工作流里的一部分。
不过，如果他们不想跟AI沾边，也没关系。
对于这样的观点，也有不少网友表示认同，认为Sora这样的视频生成AI，是对现有工作流很好的补充。
Adobe把它们集成进软件里，就是一个很不错的主意。
但，“我厌倦了OpenAI们的精美Demo营销”。
还有网友不满的点在于，爆火的“人工智能生成视频”背后有大量的人类工作，他们投入数百个小时工作，却被AI掩盖了真实的价值。
那么，这事儿你怎么看？
参考链接：
[1]
https://www.fxguide.com/fxfeatured/actually-using-sora/
[2]
https://twitter.com/bilawalsidhu/status/1783544598259794046
转自量子位
推荐阅读
使用PyTorch 2.0加速Transformer：训练推理均拿下！
机器学习算法工程师
一个用心的公众号
