其他分享
首页 > 其他分享> > 从几篇自动驾驶感知论文中试着锻炼寻找“领域知识”的能力

从几篇自动驾驶感知论文中试着锻炼寻找“领域知识”的能力

作者:互联网

SCNN: Spatial As Deep: Spatial CNN for Traffic Scene Understanding[1][2]

文章大体上是使用分割网络对车载相机图像中的图像进行分割。

是比较早的工作,这时候的对于卷积网络的思考还没有现在这么固化。
于是本文提出了一种新的针对性的分割网络用于车道线的提取,相比于传统网络在各个层之间直接进行卷积的方法不同的是,该网络按照一定方向(上、下、左、右)按照顺序进行卷积,作者认为这样更符合真实世界中物体结构的延伸,尤其是车道线这种持续延伸的目标。
后来作者还另外证明了该种网络对于分割细长类物体的效果格外好。

图中的上半部分是传统的网络结构,下半部分是作者自己的结构,可以看出,区别在于中间的那一段,传统方法中,按照二维结构直接进行卷积,一层一层传递下去,而作者在这部分先进行切片,再按照顺序进行卷积。顺序一共四种:下、上、右、左,分别对应图中的"SCNN_D", "SCNN_U", "SCNNR", "SCNNL", 所以切片分为横着切和竖着切,横竖各两次。

需要注意的是,这里的切片模型只是网络的一部分,其他卷积层、全连接层等仍然存在,作者所采用的方法也不是直接设计一个全新的网络,而是把这四个顺序卷积的部分嵌入到一个已有的网络模型中去,作者选用的网络是LargeFOV。新的网络如下图所示。

这里(a)是训练的网络,(b)是用网络进行预测的流程,需要注意的是,(b)中右侧输出了四个数值,这四个数分别对应四条车道线的概率,0.99就是有车道线,0.02就是没有车道线,所以图中就显示了三条车道线,至于为啥是四条,这就属于作者设置的一个先验信息了,如果超过四条,最终也只会输出四条。当然,他既然这么做,就说明至少这个数据集里没有超过四条的。

本文章核心工作是提出了一种新的网络结构,除了结构部分,在训练和测试流程上与其他方法没有大的区别,所以算法流程部分其实就是介绍网络结构的部分。

上面提到,本文中只是在流程中的一部分使用了这种SCNN结构,理解为这种思想更好的利用了全局信息也是可以说得通的。

这篇文章与自动驾驶感知的联系这部分落笔在“在使用这种新型的结构后,网络对于细长、大型类的物体分割效果更好,即对于车道线检测有更好的效果”。

Towards End-to-End Lane Detection: an Instance Segmentation Approach[3][4]

针对之前算法不能解决以下问题:predifined,fixed number of lanes和 lane changes。设计了一个多任务网络分支,主要是车道线分割分支和车道线嵌入分支,可以进行end-to-end的训练,并通过训练网络学习变换参数。

车道分割分支具有两个输出类别,即背景或车道。
车道嵌入分支进一步将分段的车道像素分解成不同的车道实例(instance)。
通过将车道检测问题分解为上述两个任务,我们可以充分利用车道分割分支的功能,而不必为不同的车道分配不同的类别。

针对之前采用固定透视变换转换到“bird-eye”图再进行车道线拟合,本文提出训练一个网络训练来得到其变换系数,可以对多种道路变化鲁棒。

解释一下pixel embedding:embedding与segmentation是encoder里并行的两个分支,encoder是有三个阶段的,其中前两个阶段两个分支是共享参数的,最后一层不共享,分别生成一个channel的二值分割图片,另一个生成n-channel的嵌入向量,其中n是嵌入尺寸。然后经过融合后进行聚类操作。

解释一下为什么要学习H矩阵并做变换:一般地,分割车道线之后是还需要对分割结果进行曲线拟合以生成车道线的。而拟合曲线的时候一般会把图像转换到鸟瞰图角度,也就是让车道线都平行、这样便于拟合、可靠性高,然后求出相应点之后在影射回来,这个变换矩阵之前都是固定的,现在作者让它变为可学习的,鲁棒性更高些。

“使用CNN分割车道线”这一思想倒是不难想到,但这CNN分割应用到自动驾驶感知或者更具体地说应用到车道线检测任务中,需要考虑到什么问题那?这就是这安论文落笔在解决“车道线数目变化(pixel embedding)以及车道视角变化(a learned perspective transformation)”的问题。


[1] 自动驾驶|车道线检测:SCNN(一) - 知乎
[2] 深度学习笔记(十四)车道线检测 SCNN - osc_b07navmi的个人空间 - OSCHINA - 中文开源技术交流社区
[3] 论文阅读《Towards End-to-End Lane Detection: an Instance Segmentation Approach》 - 王老头 - 博客园
[4] [车道线检测论文学习] Towards End-to-End Lane Detection: an Instance Segmentation Approach_Holeung blog-CSDN博客
[ ]【车道线检测论文阅读笔记——经典论文粗读汇总】_selami的博客-CSDN博客

标签:分割,车道,End,几篇,卷积,SCNN,网络,中试,感知
来源: https://blog.csdn.net/qq_37662375/article/details/122373317