首页 文章详情

100万人沉浸式「云斗舞」!这个节目凭啥火了?

新智元 | 138 2022-05-10 20:18 0 0 0
UniSMS (合一短信)



  新智元报道  

编辑:好困 桃子

【新智元导读】五一宅家,无迪可蹦?你可能错过了一场和虚拟人的超级狂欢!


上方是演出大屏,下方是人潮嗨舞的迪厅,两侧滚动的是表白宣言,身旁还有「虚拟」的央视主持人尼格买提。


央视一场自带话题度的五四特别节目,当晚便冲上热搜。


它,凭什么火了?


     

100万人「云斗舞」


时间回到2021年,「TMELAND」腾讯音乐虚拟世界在12月31日正式亮相。

 

当晚,在高雄世运主场馆线下开唱的五月天,也空降到了TMELAND这个「虚拟音乐嘉年华」。

 

全球110万乐迷陆续「登岛」共同狂欢跨年。这个量级,相当于在鸟巢开了12场满座演唱会。

 

而此时距离TMELAND的立项,才过了五个月。

               

正值盛夏7月,设计团队突然接到任务,说要打造一个「虚拟音乐世界」。

 

就像一万个人心中有一万个哈姆雷特,团队中的每个人也有自己理想中的虚拟世界。

 

在大家一筹莫展、甚至连名字都还没想好的时候,一位设计师便凭着自己的感觉开始尝试手绘整个乐园。

 

没想到画着画着,突然灵光一现,就想到了TMELAND这个名字。再加上那张蓝图,一个清晰的「岛屿」仿佛出现在了所有人的面前。

       


紧接着,技术团队也在10月份加入到了项目的研发之中。

 

随着设计的逐渐完善,问题也接踵而至,这些效果该如何呈现出来呢?

 

摆在技术团队面前的路有两条,「终端」和「云端」:

 

1. 把所有的内容和素材都装进一个庞大的APP里,在用户的设备上运行;

2. 把所有的渲染等计算都放在云端进行,用户只用接入网络即可。

 

               


第一条路相对成熟,有大量的游戏都采用这种机制,比如大家熟知的「和平精英」或者「王者荣耀」。

 

抛开游戏对操作的苛求,可以说只要能接入网络,基本上都不会有太高的延迟。


但如果让用户的手机或其他终端设备来承载所有的渲染压力,不仅需要强大的硬件性能支撑,而且在集成了渲染引擎和各种素材资料之后,软件安装包的体积单位也将以GB来计算,占据庞大的存储空间,体验并不友好。

 

第一条路不好走,那么第二条路又如何呢?


还别说,这个的难度更大。

 

用户看似是零成本地接入,但由于所有的内容都在云端,用户必须在极高的网络带宽下才能有流畅的体验。

 

而运营商的成本则是直接被拉满了,由于每一个用户都需要进行独立的渲染和输出,运营商必须投入巨量的服务器资源才能维持。

 

显然,对于一个需要极高迭代速度的全新产品来说,这两条路都太劝退了。
 
经过一波头脑风暴之后,TME的技术团队选择了——「第三条路」。
                
既然纯粹的「云」或者「端」行不通,那么,如果把这两者结合起来又会如何呢?
 
比如,让云端负责大场景的渲染,让终端则负责轻量级的交互。
 
这是一个非常大胆的想法,毕竟把整个流程分拆成两个部分来进行处理的方式,在国内也是实属首次。
 
而且,TMELAND本身又是极具创新性的项目,这就要求方案必须能够实现极高的更新速度,以适应不同玩法和内容的变化。
  
这时,压力就来到了技术团队这边。因为想要让「端」和「云」的结合真正在项目上可用,就必须在迭代和性能之间找到一个平衡点。
 
经过反复地摸索,TMELAND与元象XVERSE的联合团队决定采用H5来打造这个全新的虚拟世界。
 
利用H5的灵活性,团队不仅优化了编解码系统,而且在对图片以及一些素材进行渲染时,采用了例如纹理压缩等技术,显著地减少了开销,从而降低了对本地性能的需求。
    

           

不过,团队当时还不确定这套方案的可行性,于是初次试水选在了「全民K歌」的虚拟直播间里。
 
没想到的是,效果出奇得好。很快,各种新的玩法和场景应运而生。
               
深受鼓舞的技术团队紧锣密鼓地研发了2个多月,名为「端云协同」的全新3D互动技术方案就此诞生。

借助于「端云协同」的优势,TMELAND能同时容纳10万人同屏在线。
 
而更重要的一点是,TMELAND不仅可以将面积超13万平方米的虚拟音乐世界压缩成一个极小的下载包,而且用户也无需辅助的硬件,甚至连独立的软件都不用下载和安装。
 
只要手机能连网,就能随时随地进入这个游乐园玩耍。

               

时间来到2022年5月4日,在这场和央视联动的五四特别节目中,累积共有超百万用户化身「数字人」进入TMELAND。

主持人尼格买提的「分身」先在虚拟世界中来了段「赛博报幕」。
                
紧接着,腾讯互娱旗下的吉莉、童和光、星瞳也集体「空降」现场,与青年演员联合出演情景歌舞《New Youth》。
 
随着镜头切换,虚拟人还现身中国人民大学、北京航空航天大学、武汉大学3所高校校园,并与黑龙江大学、西安交通大学、广州大学的青年学子们同屏起舞。
                 

        

从0到1的虚拟人成长之路


此次演出的三个虚拟人,风格各有不同,细看他们的故事,却可以大致描摹出来腾讯这样的中国互联网公司,开发虚拟人的路径。

以星瞳为例,作为《QQ炫舞》的NPC,星瞳如今已经是一个有着庞大粉丝群体,能出歌唱作品,能和舞蹈家杨丽萍共舞,还能参加综艺节目的虚拟偶像。

随着背后的直播流程管线成熟,星瞳又成为了用UE4引擎做全3D直播的第一位虚拟人。
                
这套流程厉害的一点在于,可以实现实时渲染,所见即所得。

也就是说,需要离线制作2到3个月的动作,只要准备好前期的资产,2到3星期即可完成。

基于此,星瞳也成功地在2021年完成了24小时极限直播的调整。
               
如果星瞳和《和平精英》的吉莉都是NPC借助虚拟人技术,从二次元走进了现实世界。

童和光则是介于超写实数字人和高保真数字人之间的虚拟人,更重要的是,童和光底层的虚拟人技术,走了一条完全自研的道路。

而这个故事,还要从第一代高保真数字人「Siren」讲起。
                
2017年5月,Siren正式立项,其背后是来自四个国家的联合开发团队。腾讯NExT Studios为项目所有者,负责Unreal引擎的渲染增强和性能优化。
 
联合开发期间,跨国沟通为项目带来了巨大的风险和挑战,无论是时差和文化多样性,还是反复的海量数据协作。经过近一年的研发,Siren终于在次年3月现身GDC 2018。
 
但说到底,即便拥有这个项目,背后的底层技术还是掌握在别人手里。

显然,腾讯想要的可不只是「复用」现成的模型就完了。
               
于是,腾讯开始尝试用内部的人员和技术能力去开发虚拟人,不再单纯地依赖国外的技术。

高保真数字人Matt、WL.S成员童和光等自研虚拟人便在这样的背景下启动了。

2021年腾讯和新华社合作,开始从零打造全球首位数字航天员小诤。

仅3个月之后,实时高保真数字人小诤诞生了。


她有五千多个微表情,皮肤能随光线变化而变化,她身体能够自由转动,带领地球上的人们360°观赏难得一见的火星风光。
               
能够做到这一点,腾讯的两套自研的管线功不可没:
 
  1. xMoCap®动捕动画全流程生产

  2. xFaceBuilder®数字角色制作

 
在xMoCap®管线中,集成了绑定、动捕、资产管理、动画工具及NExT动捕数据库,并提供涵盖动捕服务、数据处理、数据输出等一站式服务。
 
原来2到3个人需一周时间才可完成的动捕数据处理,现在1个人在动捕完成次日就能轻松搞定,角色动画生产效率大大提升的同时,质量也得到了提高。

而xFaceBuilder®数字角色制作管线,则通过大量算法优化提升了角色人脸制作效率,能够逼真制作人脸、毛发、服装,打磨成了一套涵盖建模、绑定、动画的全流程制作过程。 
                
加上星瞳背后的自研直播管线、吉莉的自研骨骼绑定管线…… 经过五年的探索,不管是离线还是实时,腾讯的虚拟人在实现「千人千面」的同时, 工业化的生产也越来越成熟。
 

虚虚实实,未来怎么走?


其实,此前《堡垒之夜》也在虚拟演唱会上做过不少尝试。 

周杰伦在元宇宙平台沙盒(Sandbox)里举办的演唱会也是嗨翻了不少歌迷。
                 
不过这些是纯粹的虚拟体验,这次央视和腾讯基于TMELAND打造的虚拟音乐世界体验,更多是基于真实晚会和虚拟体验的互动,是对传统电视节目体验一次突破。

而且这些虚拟技术目前的应用,也远不仅仅在虚拟世界,而是正在快速复用到实体行业中。

感觉不是很直观?没关系,举个例子就好理解了。

不知道你有没有这样的感知,现在AI的发展或多或少都受了当年AlphaGo的影响。

毕竟,DeepMind告诉我们,一个成熟的游戏环境是可以用来协助研发人工智能的。

也就是说,摆在你面前的游戏并不只是一个单纯的游戏,而是一个能够提供更多场景、保证更快速度、以及更低成本的「AI训练营」。

这么看来也就不难理解为什么一群清华、北大的学霸会在《王者荣耀》里研究人工智能了。
                 
再比如,自动驾驶是人工智能技术的「皇冠」,其中重要的环节之一是路面测试。

通过采用数字孪生技术打造虚实交互的时空,测试能够在「平行世界」中模拟进行,这将极大加速无人驾驶时代的到来。
 
2018年,腾讯推出自动驾驶虚拟仿真系统TAD Sim,可以高效构建还原度极高的测试场景,完成自动驾驶汽车感知、决策、控制算法的闭环仿真测试。
                          
当然,用于打造虚拟世界的数字技术,其对实体行业的影响不会仅仅局限于AI和自动驾驶。

另一个极具代表性的领域就是数字文化产业了。

2022年北京冬奥会通过5G、超高清视频、自由视角、虚拟现实、云渲染、智能创作与分发等新技术,将开幕式上的空灵与浪漫,高速冰雪运动的精彩瞬间呈现给了全世界。
               
在影视文娱行业,随着游戏引擎的应用和虚拟人技术的逐渐成熟,传统电影电视的生产管线也正在被颠覆。

新的模式将不再受限于绿幕技术和实景拍摄,虚拟制片在前期拍摄阶段的介入能够进一步拓展影片的创意边界,提升制片的流程和效益。

文物遗产保护领域,腾讯也在不断探索力所能及之事,将数字化的理念合计数融入文物信息采集、信息存储和信息传播方面。


除了满足你宅家斗舞以外,依托腾讯的数字技术还能让你足不出户「爬」长城。

   

     
云「游」各地博物馆。
                
2021年12月,腾讯联合北京市文物局启动「数字中轴」项目。借助数字化技术,将一些在历史沿革中已经消失的古建筑,在虚拟空间复原。让更多观众通过虚拟互动的方式,体验北京中轴线的独特魅力。
               
可以肯定的是,我们对虚拟世界的探索,不会止步于构建一个虚拟的乌托邦世界,我们更期待的,是打造一个虚实融合,让真实生活更美好的未来。



good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter