云上解锁Web3.0 阿里云XR平台助力彼真科技呈现沉浸式演唱会
作者:互联网
摘要:通过将沉浸式演唱会应用托管到云 XR 平台上,彼真科技也无需像传统应用一样做大量的终端适配工作,通过 Web 协议即可将虚拟演唱会《故障四方》的国风科幻世界呈现在不同的终端上。云 XR 平台完成了算力调度、渲染、推流、编码和用户管理等工作,彼真科技就可以专注在内容制作与实现上。
去年,美国著名说唱歌手 Travis Scott 在游戏《堡垒之夜》中举办了一场名为 “Astronomical” 的演唱会,吸引千万玩家观看。这场现象级的演唱会,引发了全球的关注,也让更多的艺人、企业开始关注沉浸式体验。
近期,国内一场由音乐人陈陈陈发起的《故障四方》的沉浸式虚拟演唱会,于 2022 年 5 月 26 日举办了首场限定公测演出。彼真科技作为虚拟空间平台方案商、联合出品方以及 3D 内容制作方,为本场演出进行了全方位的技术和制作支持。
别样的演唱会,天马行空的沉浸式世界
《故障四方》是新武林系列首场演出,新武林是彼真科技为音乐人构建的一个国风科幻虚拟世界。不像线下的演出,会受真实生活的“限制”,在虚拟世界中,音乐人通过高精度的模型,将脑海中的天马行空制造出来。
在新武林的世界中,彼真科技就为音乐人建造了东商,西徴,南角,北羽,中宫五个舞台;有拱桥、花车、凉亭、屏风等多种国风元素,还有千佛洞、四大神像、巨像战斗等多个符合中国传统审美的奇观化场景。同时,场景设计上采用了科幻化的风格,将电子与国风以独特的方式结合。
不限设备、轻松与“新武林”世界交互
参与观看《故障四方》演出的观众,不需要提前预装软件,也不会占用实际储存空间,只需点击邀请函链接,即可直接进入新武林的虚拟世界。对观众的设备基本没有要求,也不限平台终端,包括了手机、PC、平板电脑和 VR 头显等,一键式进入虚拟世界,大大降低了参与门槛,提供了更便捷高效的参与方式。
彼真科技为音乐人和观众提供可自定义的形象塑造,观众可以用个性化定制的虚拟形象,在虚拟世界中探索。
演唱会虚拟形象定制界面
实时传输,最大程度还原演出真实感
为了最大程度地还原演出的实时与互动感,本次演出无论是灯光还是演出,都是“实时”的,通过与原来使用的线下设备打通,灯光师可以实时打光,艺人表演穿着动捕服演唱,将动作实时同步给虚拟形象。技术将本来依靠线下大型场所的表演,在线上以更奇妙的方式呈现。
艺人表演动图
精美效果背后对云端视觉计算技术的要求
演唱会需要为观众呈现极佳的视觉与听觉体验,对画质和音质的要求很高,这意味着场景、人物形象与地图等相关的视觉高保真模型数据量巨大,据悉,本次演唱会如果封装成安装包在终端上运行,安装包将有 40 多 GB 大。再加上,这场演唱会并非事先录制,而是每一位观众都有着自身的视角,每一帧画面都需要在演员与观众的互动中生成,便需要大量的实时计算,如此精细的模型对渲染需要的计算力要求很高。
这些都并非普通的 PC 或者手机可以实现的,需要依靠云端的强大算力。同时,演唱会所需要的计算资源,会随着观众接入数量增加而增长,具有用量大、突发性强。如果使用线下 IDC 周期长,且将造成巨大浪费。因此,云端实时渲染几乎是必选项。然而,云端视觉计算应用的架构与传统本地计算的应用不同,其渲染与成像分离,增加了编解码、推流等环节,这个过程中都有可能产生画面与声音的失真,此外需要对云端算力进行调度与管理。
云端视觉计算应用架构图
新武林系列作为演唱会,其对音质的高保真需求远超常见的远程会议、即时语音等场景。普通人的耳朵听不出来的失真效果,在音乐人“耳中”变得无法接受。同时,为了还原演唱会的场景体验,新武林有着丰富的声音效果,观众如果距离舞台比较远,声音则会变小,离舞台更近,声音就会变大,这些精细化的、身临其境的效果,彼真都希望能够逼真地还原。
因此,彼真科技选择与领先云应用平台平行云和云计算厂商阿里云合作。
云 XR 平台助力彼真科技完美呈现新武林
针对云端视觉计算应用,平行云与阿里云联合推出了云 XR 平台。彼真科技将新武林的应用直接托管到云 XR 平台上,无需像传统应用一样做大量的终端适配工作,通过 Web 协议即可将新武林的世界呈现在不同的终端上,实现零客户端解锁 Web3.0 体验。云 XR 平台完成了算力调度、渲染、推流、编码和用户管理等工作,彼真科技就可以专注在内容制作与实现上。
同时,通过平台提供的完善的二次开发接口,彼真科技实现了丰富的业务系统,与用 UE 开发的 XR 系统分离,以实现各自的单独开发,大大降低开发的难度与人员的投入成本。
云 XR 平台由阿里云与平行云联合研发,阿里云主要提供自研神龙架构的超强云端算力,及自研流媒体编码技术;平台层则由平行云对渲染、编码与推流等服务进行高效封装,集成了阿里云底层 IaaS 能力,支持 NVIDIA Cloud XR 平台。
基于阿里云自研神龙架构、搭载 NVIDIA A10 GPU 的 GN7i GPU 云服务器实例,提供超高性能渲染能力,支持硬件实时光线追踪 AI CG 优化,DLSS(深度学习超级采样)技术利用 AI 优化视频画质,在相同算力的情况下大幅提高帧率,支持全硬件编码至 8K 高清,为演唱会生成精美清晰的图像。神龙架构带来的超高网络转发能力高达 2400 万 PPS,延时低至 15 微秒,大大提升了转发效率,降低了串流延时。
彼真科技虚拟演唱会架构
在为彼真科技提供上述云渲染基础能力以外,XR 平台还针对虚拟演唱会的形式进行了优化,实现高保真音质。日常生活中,每当我们听到一段美秒的旋律,打电话实时给朋友分享的时候会发现,声音在传输过去往往已经丢失了大量的细节,电话那头的朋友听到的旋律已经不是我们听到的这般模样。
同理,在云端生成的图像和画面,要做到无损地传输到观众的设备上,而且要做到“音乐人”满意的高保真,难度可想而知。为了满足线上音乐会的要求,平行云与阿里云工程师在对音频的编码上,专门进行了优化与提升。
本次演唱会的特别之处还在于其实时性,需要艺人的动捕服、灯光师的打灯设备等非标设备接入平台,云 XR 平台的数据通道有着强大兼容性,支持不同垂直行业的特定组件,以及来自物联网、摄像头等多形态的数据通道。
最终,《故障四方》作为新武林系列的首场限定公测演出,公测当天,预约量超百万,万众瞩目。在多方的努力下,《故障四方》演唱会有了令音乐人与观众惊艳的效果,被多家业内媒体关注与报道。
图片使用说明:本文部分配图来自彼真科技。
相关参考资料:
彼真科技RT3D云渲染虚拟演唱会首秀圆满举行,助力音乐人打造全真音乐体验
DS TALK|揭秘首个国风武侠题材的虚拟音乐世界《新武林》
标签:Web3.0,武林,彼真,平台,虚拟,XR,演唱会 来源: https://www.cnblogs.com/tanxingjisuan/p/16475351.html