其他分享
首页 > 其他分享> > DIB-R 可微分渲染器使用

DIB-R 可微分渲染器使用

作者:互联网

 此篇博客转自本作者在古月居的博客: https://www.guyuehome.com/34349

前言

​ 最近由于一些机会,接触到了一系列深度学习对称形状和纹理和篇文章,并尝试做了一些实践。以Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer举例,他的思想主要是通过相机视角的RGB图,用类似于Auto Encoder的模型输出三维点和纹理信息。然后通过一个渲染器得到在固定角度下的RGB图像,与之前的输入形成主要的损失。当然论文还介绍了其他光照什么的,细节就不在讨论了,我们主要用他这个可微分渲染器。这里给出这篇文章的开源链接:https://github.com/nv-tlabs/DIB-R

Differentiable Renderer

​ 由于自己不是专门做计算机图形学的。所以,对于这篇文章中的可微分渲染的理解将表述的很通俗。

​ 在NN输出空间中的三维点的时候,我们希望也知道这些点的RGB像素值是多少。经常,我们可以看到深度相机中带有色彩的点云,它们描述了几何特征和纹理特征。但是,这不是连续的。我们可能还希望点能连成面,而色彩则可以也可以连续过渡。所以那篇论文中最有价值的部分莫过于他的基于CUDA的渲染器。有时,我们想轻量级的使用一个渲染器,且希望接口简单清晰,速度快,易于集成。DIB-R可以是一个很好的选择。或者有小伙伴,也想从事于深度学习中渲染于几何物体的相关领域,这就是一个很好的选择。

​ 具体原理的可以看文章中3.2的可微分光栅化。这里主要讲述了代码接口解析,并附上一小段测试的渲染程序以作参考。

环境

​ 环境至关重要。我是在Ubuntu18.04上实现的,基于python3.6。python包的依赖可以看github中的requirments.txt 。

​ 其次就是CUDA环境,这点我装可好久,此前我想在Colab上装合适版本的CUDA(版本为11),然后测试。但是发现demo写好后,包一些莫名其妙的错误。然而,我朋友却用同样的demo在极客云上用cuda10.2.89的版本跑了起来。后面,干脆直接在我本地上装合适的CUDA好了。

​ 由 lspci | grep -i nvidia 可以看到我的显卡是GeForce GTX 1050 Ti Mobile,在https://zh.wikipedia.org/wiki/CUDA 查的自己显卡计算能力为6.1, 架构是Pascal) 。查表后可以看到支持的cuda版本很多,为了安全起见,我也选择了10.2.89。

​ 由于之前装了一个低版本的CUDA,所以要进行升级。首先要卸载原来的。

sudo apt-get --purge remove cuda nvidia* libnvidia-*
sudo dpkg -l | grep cuda- | awk '{print $2}' | xargs -n1 dpkg --purge
sudo apt-get remove cuda-*
sudo apt autoremove
sudo apt-get update

​ 然后进行安装新版本的CUDA。

wget --no-clobber https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.2.89-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1804_10.2.89-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda-10-2

​ 确定自己安装的版本可以由以下方式

cat /usr/local/cuda-10.2/version.txt

​ 在安装好CUDA之后,便可以编译和下载(按照github上)

cd dib-render/cuda_dib_render
python build.py install

​ 注意,如果你之前用了其他版本的cuda编译过,那么就需要将编译后生成的文件全部删去后,在进行编译。上述编译会在 cuda_dib_render 中多几个文件夹。

接口及测试

​ 编译后我们甚至可以不考虑那几个文件中所做了什么,只要直接使用他的接口即可。比较坑的是,他这个代码没有像想象那样进行全部开源,而是给出渲染器和一个小的测试demo。总的工程在 test-all 中进行描述。它总的描述了一个训练的流程是怎样的,具有借鉴和学习意义。这里我们主要剥离出渲染的主要成分即可。

​ 我写可以一个渲染测试文件,并对一些内容进行了注释(原来的demo文件几乎没有什么注释)。测试的效果还行,具体如下

​ 从图中可以看出,颜色以一定的块(条纹块)进行分布。车子的几何特征有点粗糙,这是由于所用的obj文件中的点集是NN训练得到的,点集数量不多,且与原来形状有点小差异。对于代码的解释,已经全部放在,下面的代码中。在配置好环境后,修改路径即可运行。

# Test file written by JWC
import numpy as np
import os
import sys
sys.path.append('/home/jame/Desktop/deguo/DIB-R-master/utils/')
sys.path.append('/home/jame/Desktop/deguo/DIB-R-master/dib-render/render_cuda')
sys.path.append('/home/jame/Desktop/deguo/DIB-R-master/utils/render')
import torch
import torchvision.utils as vutils
from model.modelcolor import Ecoder
from utils.utils_mesh import loadobj, \
face2edge, edge2face, face2pneimtx, mtx2tfsparse, savemesh, savemeshcolor
from utils.utils_perspective import camera_info_batch, perspectiveprojectionnp
from renderfunc_cluster import rendermeshcolor as rendermesh
from utils_render_color2 import linear
import cv2
# Automatic GPU/CPU device placement
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
# 加载相机参数
def load_cam( pkl_path):
rotntxname = pkl_path
rotmtx_4x4 = np.load(rotntxname).astype(np.float32)
rotmx = rotmtx_4x4[:3, :3]
transmtx = rotmtx_4x4[:3, 3:4]
transmtx = -np.matmul(rotmx.T, transmtx)
renderparam = (rotmx, transmtx)
return renderparam
# 得到 obj格式点集的 点和面 描述集
pointnp_px3, facenp_fx3 = loadobj('/home/jame/Desktop/deguo/DIB-R-master/mm/off/car_20.obj')
edge_ex2 = face2edge(facenp_fx3)
# edgef_ex2 = edge2face(facenp_fx3, edge_ex2)
# pneimtx = face2pneimtx(facenp_fx3)
tff_fx3 = torch.from_numpy(facenp_fx3).to(device)
# 获得 点,面和边的数量
pnum = pointnp_px3.shape[0]
fnum = facenp_fx3.shape[0]
enum = edge_ex2.shape[0]
# print(pnum, fnum, enum)
# 设定相机FOV, 可以由相机内参矩阵获得
camfovy = np.arctan(2*64/140)
# 这里转化 相机的FOV向量
camprojmtx = perspectiveprojectionnp(camfovy, 1.0)
tfcamproj = torch.from_numpy(camprojmtx).to(device)
# print(tfcamproj.shape)
# 这里增加一个维度
tfp_1xpx3 = torch.from_numpy(pointnp_px3).to(device).view(1, pnum, 3)
# print(tfp_1xpx3)
# print(tfcamproj)
# 以下将设定一个batch中有两个 mesh 和 颜色集, 以此来做测试
meshes = []
meshcolors = []
# 重复添加两个
meshes.append(tfp_1xpx3)
meshes.append(tfp_1xpx3)
# 设定颜色
temp = []
cout = 0
# 颜色变化处理
for i in range(pnum):
if cout==0:
temp.append([ 1, 0, 0 ])
elif cout ==1:
temp.append([ 0., 1, 0 ])
elif cout ==2:
temp.append([ 0., 0, 1 ])
if i%300 ==0: # 300 决定颜色分布块大小
cout+=1
if cout ==3:
cout =0
# mesh color 转化为向量
mc_bxp3 = np.array(temp,dtype=np.float32)
# print(mc_bxp3)
# 转化cuda tensor 后增加一个维度
mc_bxpx3 = torch.from_numpy(mc_bxp3).to(device).view(1, -1, 3)
# print(mc_bxpx3)
# 和之前mesh一致, 也重复添加两个
meshcolors.append(mc_bxpx3)
meshcolors.append(mc_bxpx3)
# print(meshes.shape,meshcolors.shape )
# 转化为tensor
meshesvv = meshes
mcvv = meshcolors
mesh_vvbxpx3 = torch.cat(meshesvv)
mc_vvbxpx3 = torch.cat(mcvv)
# print(mesh_vvbxpx3.shape, mc_vvbxpx3.shape)
# 加载相机参数,其次变换矩阵保存在 .npy文件中, 注意,物体和相机关系需要转换
rotat, trans = load_cam("/home/jame/Desktop/deguo/DIB-R-master/mm/datasets/camera_settings/cam_npy/cam_RT_004.npy")
# rotat = np.array( [[[1.,0.,0.], [0.,1.,0.], [0.,0.,1.] ]], dtype=np.float32 )
# trans = np.array( [[.0,0.,2]], dtype=np.float32 )
rotat = np.array( [rotat], dtype=np.float32 )
trans = np.array( [trans], dtype=np.float32 )
# print(rotat, trans)
# 相机坐标参数 转化为 cuda 计算
tfcamrot = torch.from_numpy(rotat).to(device)
tfcampos = torch.from_numpy(trans).to(device)
# 相机参数添加到一个集合中,可能有点冗余,这是为了和 test-all.py中保持一致
tfcams=[[tfcamrot,tfcampos,tfcamproj]]
tfcamrot_bx3x3, tfcampos_bx3, _ = tfcams[0]
# 由于 前面批量了两个,所以这里需要重读添加
tfcamsvv = [[], [], tfcamproj]
tfcamsvv[0].append(tfcamrot_bx3x3)
tfcamsvv[1].append(tfcampos_bx3)
tfcamsvv[0].append(tfcamrot_bx3x3)
tfcamsvv[1].append(tfcampos_bx3)
tfcamsvv[0] = torch.cat(tfcamsvv[0])
tfcamsvv[1] = torch.cat(tfcamsvv[1])
# print(tfcamsvv[0].shape, tfcamsvv[1].shape)
# DIB-R渲染接口,至关重要
tmp, _ = rendermesh(mesh_vvbxpx3, mc_vvbxpx3, tff_fx3, tfcamsvv, linear)
# 第一个就是渲染后视野中的图像
impre_vvbxhxwx3, silpred_vvbxhxwx1 = tmp
# 转化到 RGB 值
img = impre_vvbxhxwx3.cpu().numpy().astype(np.float32) *255.0
# print(np.shape( img ))
\# opencv 图像显示
cv2.imshow('image', img[0])
cv2.imwrite("./image.jpg",img[0])
cv2.waitKey(0)
print("OVER")

​ 以上是作者做的一个大项目中的一个小章节,验证可微分渲染以此来进行后面深度学习-学习mesh的纹理。此处为今后学习这个小伙伴提供一个参考。

​ 另外,这个项目在后续将实践一个pytorch深度学习学习对称几何物体纹理的案例,后面有机会将持续跟进。

标签:渲染器,tfcamsvv,torch,微分,print,DIB,np,append,cuda
来源: https://blog.csdn.net/qq_37389133/article/details/118767480