旷视科技提出SPCNet:一种任意形状的场景文本检测算法
作者:互联网
【AAAI 2019】SPCNet
这篇文章是谢恩泽在face++实习期间完成的一个工作,被AAAI2019接收,主要是做任意形状的场景文本检测,同时抑制错误样本的检测。
arXiv:https://arxiv.org/abs/1811.08605
Motivation
过去场景文字检测模型大多分为如下两类:1,基于语义分割的检测。2,基于边界框回归的检测。
这些方法的劣势在于不能很好的处理弯曲文字,而弯曲文字在自然场景中也是大量存在的。
我们考虑到弯曲文字可以通过实例分割的方法去处理,于是基于Mask R-CNN 去做。
ECCV2018有一篇Mask Text Spottor也是用了mask rcnn做了端到端识别,比我们早一点,做研究有局部撞车是常态了。。。不过eccv那篇对Maskrcnn本身并未做过多修改,创新之处主要在识别部分。
言归正传,本文的SPCnet将Mask R-CNN作为baseline,同时引入了text context 模块和re-score机制,从而提高检测准确率,降低FP的出现。
这张图是re-score模块的可视化图,可以看到,mask rcnn将水平box的分类分数最终的score,对于倾斜文本不是很友好,并且可能会引入fp,我们在这里将语义分割图上的响应和原本的score融合起来,得到的fus-score可以缓解mask rcnn直接移植到文字检测上分类分数不准的问题。
整个网络流程如下,a是fpn结构,b是text context(TCM)模块,d是TCM具体的方法。
整个方法在mask rcnn的基础上多了一个分支做文字的语义分割,并把语义分割的中间特征和检测分支的特征融合起来,再把语义分割的预测结果作为一个attention mask 乘回feature map,起到一个对特征attention的作用。
这块是重打分的一个可视化说明,绿色的是水平box,红色的是instance seg的结果,下面的是全局语义分割的结果,我们把instance seg的结果投影到语义分割图上,并在该区域内算一个响应值,得到instance score,并和原来的classification score融合得到最终的score。
该部分是label generation部分,主要是bounding box, instance seg和semantic seg的label。
消融实验
我们在icdar2017 val上做了实验,发现TCM和RS分别能提高模型的最终结果。在recall保持一致的情况下precision涨点,说明能有效抑制FP。
在icdar17,15,13和total-text(多语言,多方向,水平文本,弯曲文本)上都是state-of-the-art,充分证明了该方法的有效性。
PS:ic17上文字scale比例差距很大,所以随便写了个简陋的多尺度测试居然涨4个点。。。。。
一些可视化效果图:
在ICDAR2015上对比一些经典方法的FP情况,可以看到我们的方法可以有效抑制FP。
总结:这个工作是的第一份正儿八经的科研工作,在旷视大约两个半月时间完成,还是比较欣慰的,二作是一个本科生,也参与了很多工作在里面,同时也感谢很多人给予了不少帮助。
希望自己以后能在计算机视觉领域多发表高水平paper,同时欢迎同行多多交流。下面是我的知乎原文链接,欢迎评论交流。点击阅读原文,也可以直接访问。
标签:旷视,分割,检测,语义,mask,seg,score,SPCNet,文本 来源: https://blog.51cto.com/15069443/2610782