今日热讯:2022淘宝造物节3D直播虚拟营地技术亮点揭秘
2022-09-01 16:06:52来源:大淘宝技术
2022年8月24日,淘宝造物节全新亮相!为了探索下一代互联网沉浸式购物体验,本次造物节除了在线下广交会展馆打造一个两万平⽶全景式的“未来营地”以外,线上首次上线可万人同时在线的虚拟互动空间“3D疯狂城-造物节虚拟营地”。
在3D虚拟营地里,用户能够以轻量级的方式体验高清的游戏质感,并以虚拟人物形象加入到“3D人货场”的世界,与玩家互动,与3D商品互动,满足新一代消费群体爱玩、爱造的诉求,以创新的技术带来全新的消费体验。
(资料图片)
下面我们一起看看3D直播虚拟营地的体验&技术亮点:
轻量级裸眼3D“实景游戏”曾经你喜欢一款3D游戏,客户端下载好几个G,想玩新游戏时却不得不卸载,真是太占内存了!在造物节的虚拟营地,你快速加载出一款裸眼3D、可互动、可直播,甚至还能买买买的高清画面“游戏”,而且你的淘宝App“一点都没变大”,手机加载速度“嗖嗖的”~
▐ 技术亮点:云端成本的挑战传统的在移动端做3D游戏应用的开发,往往需要在端测集成几十上百 M 的游戏引擎,还需要下载几个G的素材资源,这在淘宝app 内目前是不现实的。采用云渲染的方式可以很好的解决这一问题,借助云端强大的GPU完成高清复杂的场景渲染,用户无需下载大型的资源文件,也不需要安装任何内容,唯一需要的就是播放实时渲染的媒体流。
但这里带来的最大的问题就是云渲染机器的成本问题。为了降低云渲染机器的成本, 我们除了在云渲染方面,做好模型减面、dp 合并、贴图优化、降低视频素材分辨率等性能优化策略。还在机器调度上, 结合业务场景做了分时段动态扩缩容策略,最大程度提高机器的利用率。
3D人与3D商品首次在3D虚拟世界相遇曾经在“淘宝人生”里穿衣打扮的3D用户,第一次“走”出小家,来到了造物节的直播3D虚拟营地。在这里,你可以自由跳动、点燃篝火,还可以查看3D商品,观看卖家直播,与玩家互动交流。3D人、3D商品、3D环境结合在一起,给你沉浸式的奇妙营地探险体验。
▐ 技术亮点:人货场的搭建与互动人与人的交互。淘宝人生里的3D人物,放置到3D虚拟世界里来,首先需要一定的资产转换和渲染成本。用户在营地里跑动,涉及到用户位置的实时同步。对于用户实时漫游,我们采用帧同步的技术,按照固定频率去更新用户位置信息, 理想情况下,用户是不会感觉到卡顿的, 但是不可避免网络拥塞引起帧间抖动,相邻两次位置同步的时间超过一定间隔,则会引起跳变。为了弥补这种不足, 我们在人物渲染的时候采用了运动补偿的算法,简单说就是通过算法模拟让用户位置移动过渡的更加平滑。同时在互动数据的同步方面,采用了AOI 网格算法, 解决多人同屏数据同步的问题。这样,3D人物在虚拟世界里随意跑动都会比较流畅顺滑。
人与商品的交互。用户想要在虚拟场景下自由查看3D商品的细节并不容易,我们有两种方案可以选择:一种是移动端渲染,一种是云端渲染。移动端渲染在淘宝内也有相对成熟的解决方案,遗憾的是移动端的渲染引擎和云端渲染引擎并不是一套, 所以同一个商品模型并不能通用, 同时还要考虑模型动态下载, 减面优化等问题,为了避开这些劣势,我们还是选择了云端渲染的方案,通过动态切换相机视角,实时响应用户端的交互指令,以达到旋转、缩放观看3D商品的体验。
1080P分辨率酷炫高清画质曾经你在手机App里尝试页面小游戏,糊得如同马赛克,跑跑跳跳还掉帧。造物节全新3D虚拟营地,画质高清、效果流畅,舞台灯光还能动态追踪到身为“明星”的你~
▐ 技术亮点:云端渲染的内容制作与实时传输在云端,我们采用虚幻引擎做实时画面的渲染, 并且结合动态运镜、动态舞台灯光、人物多视角、粒子效果等技术让画面看起来更加酷炫,用户互动感更强。为了把高清的画面传输到用户的手机上,我们需要综合考虑画质,卡顿,延时的平衡, 借助大淘宝和阿里云共建的GRTN传输网络,以及自研的编解码算法,可以最大程度保障画质的清晰。
交互式虚拟画面不卡顿曾经你在淘宝主播直播间,倒数“3、2、1、开抢!”感受到了超低延迟秒杀的爽感。但屏幕外的你,却无法通过交互直接干预直播间主播的行动。在3D虚拟营地的你,一边跳舞一边打招呼,还可以点击商家的3D商品,观看喜欢的主播讲解,实实在在做到了“与商家、主播同框交流”。
▐ 技术亮点:全链路超低延迟不同于互不干扰的画面传输,在交互式下实现超低延迟的流畅体验,我们需要在百毫秒内完成用户指令的上行、 实时画面的渲染、并将渲染好的画面返回到用户手机端。首先,这里面要综合考虑用户的机器、网络、接入点情况,来动态选择离用户最近的推流节点,从而调整云端的推流策略(包括清晰度,编码方式的选择)。其次,在传输过程中,还需采用实时带宽反馈、FEC 、动态buffer 等弱网控制策略来对抗网络的抖动, 从而使整个链路延时达到合理的位置,最终实现在虚拟世界的交互中,保障流畅的交互体验。
结语此次造物节3D虚拟营地,是淘宝虚拟互动空间“3D疯狂城”系列的首次上线尝试。下一步,我们将会结合云端实时渲染, XR/CG技术实现虚拟化场景定制, 支撑更大规模的用户实时互动,为消费者带来更沉浸式互动体验。