其他分享
首页 > 其他分享> > 如何改造UE4用于赛璐璐3D卡渲?这里有一份日本大厂的实操分享

如何改造UE4用于赛璐璐3D卡渲?这里有一份日本大厂的实操分享

作者:互联网

当今市场中,3D卡渲无疑是最热门的一个技术竞争领域,此前也有不少厂商分享了各自基于不同引擎的3D卡渲实现技术。

前几个月葡萄君分享了万代南宫旗下一款基于UE4制作的赛璐璐3D卡渲产品《蓝色协议》的技术经验,提及它的风格选择、实现思路,以及相关的基本手法。

就在前不久日本举办的CEDEC 2021开发者大会上,万代南梦宫Studio的执行技术总监大井隆義又以《实装篇》为题,进一步分享了《蓝色协议》在实现赛璐璐3D卡渲时,针对UE4引擎进行的技术改造。
 


在大井隆義看来,一般的赛璐璐shading手法,要么不使用游戏引擎自带的光照系统,自行处理光照,要么是对引擎渲染出来的画像进行后处理让它看起来有动画的风格。这类手法的参考资料已经非常多了,但不改造引擎的做法有好有坏。

比如在UE4当中,不使用光照系统,相当于抛弃了UE4自身画面表现极其丰富的一大特色,转用后处理的做法,又相当于在已经渲染好的东西上再加一层多余的表演处理。于是万代南梦宫Studio尝试的是:如何在不遏制UE4功能的前提下,针对想要实现的渲染效果进行最小限度的引擎改造。


01:光照的处理

首先是为了生成阴影的光照处理。在《蓝色协议》中,比较独特的地方是,1个角色模型对应着两种法线数据。其中一种是模型数据自身的法线,另一种则是画师绘制的法线。下图右上是模型法线,右下是手绘法线。
 


直观地对比一下就能看出,模型法线呈现出了3D角色丰富的立体感,而另一套法线看起来就比较糊,尤其是角色面部的细节层次感不强。

原因在于,在通常的动画作品中,大多数的角度来看,在光源相反的脸颊边缘,都会以简洁的线条来区分出面部的阴影。而鼻子这类突出的位置,大多数情况都不会重点绘制阴影(具体情况根据画风也有差别)。所以使用相对模糊的法线数据,反而能呈现出更贴近动画风格的阴影表现。
 


此外,角色面部还搭在了捏脸功能,总共可以分割为6个部件。如果将这些部件单独计算为一个物件进行输入,每个部件都会呈现出自己的边缘,所以需要将他们囊括为一个整体进行输入,边缘部分的法线才能衔接顺畅。
 


通过手绘法线的数据以及主光源数据,就可以计算出角色的阴影。在《蓝色协议》中用到的皮肤阴影,属于动画术语中的一级阴影。要实现这个效果,首先需要准备一张二值化处理(将图像上的像素点的灰度值设置为0或255,即黑白化)后的遮罩。再保证即便存在再多光源,作用到角色阴影的只有主光源。
 


然后用主光源,以及通过手绘法线得到的二值化阴影数据进行对比,在明亮处使用角色基本色,在暗处则使用阴影色来进行着色。这样一来,一个角色的动画式着色就算完成了一大半。其中关键在于角色阴影只受主光源的影响这一点。
 


当存在主光源以外的点光源时,为了保证不出现干扰的阴影效果,光照效果需要无视法线只呈现与光源的距离关系。这种情况下,亮度过高的情况会比较常见,所以需要再做调整。下面这张幻灯片也是亮度过高的例子。
 


天空光、间接光也是如此,在渲染的时候都会基本无视发法线,这样就可以将外部光的色彩影响控制在最小的范畴内。尽管不是完全没有影响,但这种做法首要考虑的是优先呈现角色自身的颜色。毕竟蓝天背景下,背景求的颜色是蓝色,如果影响到角色也泛蓝,就会显得很奇怪。
 


此外,高光(镜面反射光)要素也进行了一系列的特殊处理,其中最明显的就是头发。高光处理时,首先生成一张将Blinn-Phong模型二值化以后的高光遮罩,紧贴在高光出现的部位。头发中间部分的高光偏圆偏小,周边部分的则是偏细长。这些形状差异,是根据相对物件重心的距离,来扩大或缩小高光遮罩而实现的。
 


需要注意的是,即便角色的轮廓没有逆光,也需要加上边缘光的处理,来强化与背景分开的立体感。边缘光的处理,是基于深度buffer的内容用Sobel filter提取出边缘数据,然后加强其亮度。不过这种做法需要追加一条渲染管线。

另外在filter的阶段,通过offset可以调节轮廓线的粗细,也能顺着轮廓添加边缘光。而且在不希望出现边缘光的地方(比如因为角色背部的光源生成阴影的地方等),还可以实施进一步的遮罩处理。
 


02:轮廓线的处理

轮廓线在动画风当中占据了相当重要的位置,它的处理也需要下功夫。

轮廓线的处理是依靠深度值进行判定,然后通过Sobel filter检测边缘部分,在深度值较大的一侧绘制轮廓线。角色数据中,顶点色2是轮廓线使用的数据,其中通过ID编排,二手手游账号购买平台存放了不同部位、不同粗细的数据,在绘制轮廓线的时候会被使用。在面部这类不希望出现轮廓线的地方,可以调整深度值,让它更不容易呈现出轮廓线。


通过反转深度值就可以指定不希望出现轮廓线的位置了。
 

 


值得注意的是,轮廓线可以想象成在角色的外侧进行了绘制。这是因为当画面太小时,如果在物件内部绘制轮廓线,会让物件看起来更小。

此外,前面提到的部件ID也会在物件边界部分的轮廓线上进行计算,即通过ID检测出边缘,然后在深度值较大一侧绘制轮廓线。

而在手指等深度值相差较小的,很难分配ID的部位,就需要使用通过法线来判断轮廓线的方法。同时,手绘法线也在事先准备好了,这里也会合成这方面的数据。
 


《蓝色协议》的角色还会表现出动画、原画中常见的,眉毛呈现在头发上面的效果,这是模拟透过头发看见眉毛的效果。技术上,则是先制作一张眉毛形状的遮罩,防止头发覆盖眉毛的处理手法。换句话说,单纯为了这个效果,就追加了一层渲染管线。
 


除此之外,轮廓线对Temporal AA的兼容性不好,容易被模糊处理,所以需要使用Responsive AA的抗锯齿处理。Responsive AA会使用模板,尽可能保持现在的图像轮廓,再实现一个类似Temporal AA的效果,尽管抗锯齿效果会偏弱,但对于张力比较强的图像来说,这种效果反而更好。
 


另外外部物件的阴影有时也会落到角色身上,但除了面部阴影以外的不会使用到角色的selfshadow,所以处理角色的shadow map(比如落到地面上的阴影)时,只使用角色自身的影子。

不过,游戏使用了一些类似selfshadow的表现来作为代替。即使用offsetshadow比较临近物体的深度数据和通常画像的深度数据,然后写入一张用来区分基本色和阴影色的二值化buffer。这样一来阴影部分就会扩散开来。
 


最后用diffuse后处理,使明亮部分进行扩散,这个功能也可以用Bloom代替,但是会与特效部分的Bloom处理冲突,所以项目组最后选择在另一边使用这个功能。
 


进行这一连串的处理之后,《蓝色协议》的3D赛璐璐风就实现了出来。当然,这也是在原本的UE4的渲染管线之上,追加了多层处理工序,deferred rendering的6个G-buffer几乎所有通道都被用上了。在大井隆義看来,要做好赛璐璐动画风格的3D渲染,绝对不是一件处理起来比较简单的事情。
 


万代南梦宫Studio这次针对UE4引擎的改造,基本都是集中在渲染通道的追加上,除此之外的引擎升级问题算是勉强处理完了。而这些改造比起追求物理的真实性,更倾向于实现创作者的想法和追求。「如果这么改动,会不会更有感觉?」这种不断探求的欲望,是大井隆義认为最重要的思考。

03:结语

在葡萄君的上一篇文章中提到过这个产品的技术探索思路:用大量细节的打磨,去摸索制作组最希望达到的效果。

这决定了《蓝色协议》不会简单套用市面上某个模板,其实不难发现,自《蓝色协议》曝光以来的两年里,这款产品细微处的技术手法一直有不小的变化,我也很想看看最终这款产品会变成什么样,拿出什么级别的技术呈现。

而每次看到类似的技术分享,葡萄君都会忍不住期待一下,3D卡渲已经成为标配和竞争入场券的国内市场里,什么时候会迎来风格与细节技术明显分化的产品浪潮。也希望在这个浪潮到来之前,这类技术分享能为开发者提供一些不同的思路。

标签:法线,角色,处理,阴影,赛璐璐,实操,轮廓线,UE4,3D
来源: https://blog.csdn.net/wubaohu1314/article/details/120770816