编程语言
首页 > 编程语言> > OpenCV-Python系列之哈里斯角检测

OpenCV-Python系列之哈里斯角检测

作者:互联网

我们在上次简述了OpenCV的特征基础原理,本次我们将步入实战部分,开始进行特征的初阶检测。

原理

在上一个教程中,我们知道了角点是图像中向任意方向发生改变时,都引起图像强烈变动的区域。Chris Harris 和 Mike Stephens 在他们1988年的论文 A Combined Corner and Edge Detector 中,做了早期的尝试,尝试找出这些角点。因此现在这个算法被称为哈里斯角点检测。他把这个简单的想法变成了数学的形式。它基本上求出了位移(u,v)在各个方向上的强度差,这表示如下:

image.png

image.png

窗口函数可以是一个矩形窗口,也可以是一个给与它覆盖像素权重的高斯窗口。

为了要做角点检测,我们需要令这个函数 E(u,v) 最大。也就是说二元函数求极限的时间到了。将泰勒展开应用于上述方程,我们可以对下面函数进行一阶展开:

image.png

那么:

image.png

所以E(u,v)表达式可以更新为:

image.png

其中:

image.png

在此,Ix 和 Iy 分别是x 和 y方向上图像的导数。(可以被简单用索贝尔函数算出来 cv.Sobel())。(译者注,M其实就是梯度的协方差矩阵)

然后进入主要的正题。做完这个步骤之后,创建了一个得分函数,基本上就是一个等式,它将决定一个窗口是否包含一个角。

image.png

其中:

1、image.png

2、image.png

3、λ1 和 λ2 是M的特征值

然后,这些特征值决定了一个区域是角、边还是平面。

a、当 |R| 较小时,是因为 λ1 和 λ2 都很小,说明这片区域是平面。

b、当 R<0时,是因为 λ1 >> λ2 或者反过来(其中一个远大于另外一个),此时区域是边。

c、当 R较大时,是因为 λ1 和 λ2 都较大,且 λ1∼λ2,此时这片区域应为角。

它可以用下图来表示:

image.png

所以哈里斯角点检测算法的结果,是一个带着这些得分的灰度图像,使用一个合适的阈值,就能给到我们图中的角点。我们用一个简单的图像来做一下实验。

OpenCV中的哈里斯角点检测

我们来看一下OpenCV中的函数原型:

dst=cv.cornerHarris(src,blockSize,ksize,k [,dst [,borderType]]

img - 输入图像,它应该是灰度图像,且是 float32 类型的。

blockSize - 它是检测拐角时所考虑的邻域大小。

ksize - 在应用索贝尔算法时使用的孔径参数。

k - 方程中哈里斯检测器的自由参数。

我们来看代码:

import numpy as np
import cv2 as cv
filename = 'chessboard.png'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
#result is dilated for marking the corners, not important
dst = cv.dilate(dst,None)
# Threshold for an optimal value, it may vary depending on the image.
img[dst>0.01*dst.max()]=[0,0,255]
cv.imshow('dst',img)
if cv.waitKey(0) & 0xff == 27:
    cv.destroyAllWindows()

来看结果:

image.png

有时,我们可能需要找到最准确的角点。OpenCV 有一个函数 cv.cornerSubPix() ,它进一步细化检测到的角的亚像素精度。以下是一个示例。通常,我们还是要先找到哈里斯角。然后我们通过这些角的质心(在一个角上可能有一堆像素,我们取它们的质心)来细化它们。哈里斯角用红色像素标记,而细化之后的角用绿色像素标记。对于这个函数,我们必须定义何时停止迭代的条件。我们在指定的迭代次数之后停止它,或者达到了一定的精度,以最先发生的为准。我们还需要定义它将搜索角落的邻居的大小:

import numpy as np
import cv2 as cv
filename = 'chessboard2.jpg'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
# find Harris corners
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
dst = cv.dilate(dst,None)
ret, dst = cv.threshold(dst,0.01*dst.max(),255,0)
dst = np.uint8(dst)
# find centroids
ret, labels, stats, centroids = cv.connectedComponentsWithStats(dst)
# define the criteria to stop and refine the corners
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria)
# Now draw them
res = np.hstack((centroids,corners))
res = np.int0(res)
img[res[:,1],res[:,0]]=[0,0,255]
img[res[:,3],res[:,2]] = [0,255,0]
cv.imwrite('subpixel5.png',img)

以下是结果,其中一些重要的位置显示在缩放窗口中进行可视化:

image.png

标签:gray,img,Python,dst,角点,哈里斯,OpenCV,np,cv
来源: https://www.cnblogs.com/wuyuan2011woaini/p/15659890.html