3维点云学习笔记--斯坦福大学在读博士生祁芮中台讲解pointnet系列

文章目录

• • 1. 链接
  • 一、简介
  • 二、直接在点云上学习的深度学习方法--PointNet
  • 2.1. 端到端学习。
  • 2.2. 点云置换不变行。
  • 2.3. 整个网络
  • 2.4 对比其他网络优异性 MIOU
  • 2.5 轻量网络
  • 2.6 对数据丢失鲁棒性高
  • 三、PointNet++
  • 3.1 相比pointnet，pointnet++的讲解
  • 3.2 如何选择小区域的大小
  • 3.3 应用于非欧式空间non-euclidean space
  • 三、应用--3D目标检测、3D场云分析
  • 3.1 基于视椎的立体识别
  • 3.2 归一化操作

1. 链接

斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用

一、简介

3D deep learning,与2维的图像深度学习不同，这由3维数据的自身的复杂性造成的。
3维数据表示方法：point cloud; mesh; volumatric; multi-view images RGB(D)。

点云的表示，更接近原始数据，且表示方式更简单。
之前的目标检测工作：
（1）先把不规则表示的点云表示成栅格后的点云。
缺点是：计算的空间、时间复杂度都随着分辨率的增长，呈3次方的增长。低分辨率会降低量化的精度。

（2）把3D点云投影到2D平面，得到2D数据
缺点：损失了3D信息，还需要考虑投影的角度。
（3）先手工处理，再全链接。
缺点：受到手工处理的影响。

二、直接在点云上学习的深度学习方法–PointNet

2.1. 端到端学习。

![在这里插入图片描述](https://www.icode9.com/i/ll/?i=20210524161850127.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpdXNodWltYW4=,size_16,color_FFFFFF,t_70#pic_center)
![在这里插入图片描述](https://www.icode9.com/i/ll/?i=20210524161939648.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bnFpdXNodWltYW4=,size_16,color_FFFFFF,t_70#pic_center)

2.2. 点云置换不变行。

选择对称函数。在对称函数中，函数的输出值不随输入变数的排列而改变，这些排列形成一个群，也就是对称群。

如何用神经网络构建对称函数？
把每个点映射到更高维的空间，再进行。冗余的表示不容易丢失点云信息。
MLP多层感知器，g最大值池化。

2.3. 整个网络

2.4 对比其他网络优异性 MIOU

2.5 轻量网络

2.6 对数据丢失鲁棒性高

因为仅仅需要关键点即可。max池化后的示意图。

三、PointNet++

3.1 相比pointnet，pointnet++的讲解

pointnet要么对单独1个点，要么对全部点。没有local context.难以对精细的物体做分割。平移后会改变（x,y)，没有平移不变性。
pointnet++对局部区域，重复的使用pointnet。得到了多级的特征学习；使用局部坐标系实现了平移不变性；因为都使用pointnet具有置换不变性。

提取局部的点云放到局部坐标系下。
x,y代表整个小区域，在整个点云中的位置；向量特征F，代表小区域的几何形状。
重复以上工作，得到了一系列的点，每个点代表了它所在的小区域的点的特点。（点集的简化）


选择小区域—小区域点的提取—选定局部坐标系—应用pointnet。
类似CNN。
分类：

上采样后，语义分割：问一下

3.2 如何选择小区域的大小

CNN中选择小的kernel.
3D点云中，采样率不均匀。近密远疏。
采用 dropout ,DP;
多尺度组multi-scale groups.MSG
多层multi-res group.MRG

3.3 应用于非欧式空间non-euclidean space

在欧几里得几何中，平行线任何位置的间距相等。在非欧几何中，平行的直线只在局部平行，就象地球的经线只在赤道上平行。
可以分析内部点的特征。intrinsic point feature.

三、应用–3D目标检测、3D场云分析

3.1 基于视椎的立体识别

在行人等小物体的检测上排名考前。

3.2 归一化操作

矩阵旋转坐标改变。

标签：维点,--,pointnet,学习,++,3.2,点云,3D
来源： https://blog.csdn.net/yunqiushuiman/article/details/117225505