编程语言
首页 > 编程语言> > RANSAC算法详解

RANSAC算法详解

作者:互联网

我的数学之美(一)——RANSAC算法详解

给定两个点p1与p2的坐标,确定这两点所构成的直线,要求对于输入的任意点p3,都可以判断它是否在该直线上。初中解析几何知识告诉我们,判断一个点在直线上,只需其与直线上任意两点点斜率都相同即可。实际操作当中,往往会先根据已知的两点算出直线的表达式(点斜式、截距式等等),然后通过向量计算即可方便地判断p3是否在该直线上。

生产实践中的数据往往会有一定的偏差。例如我们知道两个变量X与Y之间呈线性关系,Y=aX+b,我们想确定参数a与b的具体值。通过实验,可以得到一组X与Y的测试值。虽然理论上两个未知数的方程只需要两组值即可确认,但由于系统误差的原因,任意取两点算出的a与b的值都不尽相同。我们希望的是,最后计算得出的理论模型与测试值的误差最小。大学的高等数学课程中,详细阐述了最小二乘法的思想。通过计算最小均方差关于参数a、b的偏导数为零时的值。事实上,在很多情况下,最小二乘法都是线性回归的代名词。

遗憾的是,最小二乘法只适合与误差较小的情况。试想一下这种情况,假使需要从一个噪音较大的数据集中提取模型(比方说只有20%的数据时符合模型的)时,最小二乘法就显得力不从心了。例如下图,肉眼可以很轻易地看出一条直线(模式),但算法却找错了。



RANSAC算法的输入是一组观测数据(往往含有较大的噪声或无效点),一个用于解释观测数据的参数化模型以及一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点,并用下述方法进行验证:



参考另一个博客的流程说明:
在这里插入图片描述
整个过程可参考下图:


关于算法的源代码,Ziv Yaniv曾经写一个不错的C++版本,我在关键处增补了注释:

#include <math.h>  
#include "LineParamEstimator.h"  
  
LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {}  
/*****************************************************************************/  
/* 
 * Compute the line parameters  [n_x,n_y,a_x,a_y] 
 * 通过输入的两点来确定所在直线,采用法线向量的方式来表示,以兼容平行或垂直的情况 
 * 其中n_x,n_y为归一化后,与原点构成的法线向量,a_x,a_y为直线上任意一点 
 */  
void LineParamEstimator::estimate(std::vector<Point2D *> &data,   
                                                                    std::vector<double> &parameters)  
{  
    parameters.clear();  
    if(data.size()<2)  
        return;  
    double nx = data[1]->y - data[0]->y;  
    double ny = data[0]->x - data[1]->x;// 原始直线的斜率为K,则法线的斜率为-1/k  
    double norm = sqrt(nx*nx + ny*ny);  
      
    parameters.push_back(nx/norm);  
    parameters.push_back(ny/norm);  
    parameters.push_back(data[0]->x);  
    parameters.push_back(data[0]->y);          
}  
/*****************************************************************************/  
/* 
 * Compute the line parameters  [n_x,n_y,a_x,a_y] 
 * 使用最小二乘法,从输入点中拟合出确定直线模型的所需参量 
 */  
void LineParamEstimator::leastSquaresEstimate(std::vector<Point2D *> &data,   
                                                                                            std::vector<double> &parameters)  
{  
    double meanX, meanY, nx, ny, norm;  
    double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrix  
    int i, dataSize = data.size();  
  
    parameters.clear();  
    if(data.size()<2)  
        return;  
  
    meanX = meanY = 0.0;  
    covMat11 = covMat12 = covMat21 = covMat22 = 0;  
    for(i=0; i<dataSize; i++) {  
        meanX +=data[i]->x;  
        meanY +=data[i]->y;  
  
        covMat11    +=data[i]->x * data[i]->x;  
        covMat12    +=data[i]->x * data[i]->y;  
        covMat22    +=data[i]->y * data[i]->y;  
    }  
  
    meanX/=dataSize;  
    meanY/=dataSize;  
  
    covMat11 -= dataSize*meanX*meanX;  
        covMat12 -= dataSize*meanX*meanY;  
    covMat22 -= dataSize*meanY*meanY;  
    covMat21 = covMat12;  
  
    if(covMat11<1e-12) {  
        nx = 1.0;  
            ny = 0.0;  
    }  
    else {      //lamda1 is the largest eigen-value of the covariance matrix   
               //and is used to compute the eigne-vector corresponding to the smallest  
               //eigenvalue, which isn't computed explicitly.  
        double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0;  
        nx = -covMat12;  
        ny = lamda1 - covMat22;  
        norm = sqrt(nx*nx + ny*ny);  
        nx/=norm;  
        ny/=norm;  
    }  
    parameters.push_back(nx);  
    parameters.push_back(ny);  
    parameters.push_back(meanX);  
    parameters.push_back(meanY);  
}  
/*****************************************************************************/  
/* 
 * Given the line parameters  [n_x,n_y,a_x,a_y] check if 
 * [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta 
 * 通过与已知法线的点乘结果,确定待测点与已知直线的匹配程度;结果越小则越符合,为 
 * 零则表明点在直线上 
 */  
bool LineParamEstimator::agree(std::vector<double> &parameters, Point2D &data)  
{  
    double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]);   
    return ((signedDistance*signedDistance) < m_deltaSquared);  
}  

RANSAC寻找匹配的代码如下:

/*****************************************************************************/  
template<class T, class S>  
double Ransac<T,S>::compute(std::vector<S> &parameters,   
                                                      ParameterEsitmator<T,S> *paramEstimator ,   
                                                    std::vector<T> &data,   
                                                    int numForEstimate)  
{  
    std::vector<T *> leastSquaresEstimateData;  
    int numDataObjects = data.size();  
    int numVotesForBest = -1;  
    int *arr = new int[numForEstimate];// numForEstimate表示拟合模型所需要的最少点数,对本例的直线来说,该值为2  
    short *curVotes = new short[numDataObjects];  //one if data[i] agrees with the current model, otherwise zero  
    short *bestVotes = new short[numDataObjects];  //one if data[i] agrees with the best model, otherwise zero  
      
  
              //there are less data objects than the minimum required for an exact fit  
    if(numDataObjects < numForEstimate)   
        return 0;  
        // 计算所有可能的直线,寻找其中误差最小的解。对于100点的直线拟合来说,大约需要100*99*0.5=4950次运算,复杂度无疑是庞大的。一般采用随机选取子集的方式。  
    computeAllChoices(paramEstimator,data,numForEstimate,  
                                        bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr);  
  
       //compute the least squares estimate using the largest sub set  
    for(int j=0; j<numDataObjects; j++) {  
        if(bestVotes[j])  
            leastSquaresEstimateData.push_back(&(data[j]));  
    }  
        // 对局内点再次用最小二乘法拟合出模型  
    paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters);  
  
    delete [] arr;  
    delete [] bestVotes;  
    delete [] curVotes;   
  
    return (double)leastSquaresEstimateData.size()/(double)numDataObjects;  
}  

在模型确定以及最大迭代次数允许的情况下,RANSAC总是能找到最优解。经过我的实验,对于包含80%误差的数据集,RANSAC的效果远优于直接的最小二乘法。

深度解析RANSAC算法(精华修正版)


RANSAC与最小二乘区别:最小二乘法尽量去适应包括局外点在内的所有点。相反,RANSAC能得出一个仅仅用局内点计算出模型,并且概率还足够高。但是,RANSAC并不能保证结果一定正确,为了保证算法有足够高的合理概率,必须小心的选择算法的参数(参数配置)。经实验验证,对于包含80%误差的数据集,RANSAC的效果远优于直接的最小二乘法。

验证思路:RANSAC算法的输入是一组观测数据,一个可以解释或者适应于观测数据的参数化模型,一些可信的参数。
RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点,并用下述方法进行验证:
1.有一个模型适应于假设的局内点,即所有的未知参数都能从假设的局内点计算得出。
2.用1中得到的模型去测试所有的其它数据,如果某个点适用于估计的模型,认为它也是局内点。
3.如果有足够多的点被归类为假设的局内点,那么估计的模型就足够合理。
4.然后,用所有假设的局内点去重新估计模型,因为它仅仅被初始的假设局内点估计过。
5.最后,通过估计局内点与模型的错误率来评估模型。
这个过程被重复执行固定的次数,每次产生的模型要么因为局内点太少而被舍弃,要么因为比现有的模型更好而被选用。

参数选择:
根据特定的问题和数据集通过实验来确定参数 t 和 d。然而参数 k(迭代次数)可以从理论结果推断。当估计模型参数时,用 p表示一些迭代过程中从数据集内随机选取出的点均为局内点的概率;此时,结果模型很可能有用,因此 p也表征了算法产生有用结果的概率。用 w表示每次从数据集中选取一个局内点的概率,如下式所示:
w = 局内点的数目 / 数据集的数目
通常情况下,我们事先并不知道w的值,但是可以给出一些鲁棒的值。假设估计模型需要选定n个点,w^n是所有n个点均为局内点的概率;1 − w^n是n个点中至少有一个点为局外点的概率,此时表明我们从数据集中估计出了一个不好的模型。 (1 − wn)k表示算法永远都不会选择到n个点均为局内点的概率,它和1-p相同。因此,
1 − p = (1 − w^n)^k
我们对上式的两边取对数,得出

值得注意的是,这个结果假设n个点都是独立选择的;也就是说,某个点被选定之后,它可能会被后续的迭代过程重复选定到。这种方法通常都不合理,由此推导出的k值被看作是选取不重复点的上限。例如,要从数据集寻找适合的直线,RANSAC算法通常在每次迭代时选取2个点,计算通过这两点的直线maybe_model,要求这两点必须唯一。
为了得到更可信的参数,标准偏差或它的乘积可以被加到k上。k的标准偏差定义为:

在这里插入图片描述

注:请注意上面紫色字体的内容!

优点与缺点——
RANSAC的优点是它能鲁棒的估计模型参数。例如,它能从包含大量局外点的数据集中估计出高精度的参数。RANSAC的缺点是它计算参数的迭代次数没有上限;如果设置迭代次数的上限,得到的结果可能不是最优的结果,甚至可能得到错误的结果。RANSAC只有一定的概率得到可信的模型,概率与迭代次数成正比。RANSAC的另一个缺点是它要求设置跟问题相关的阀值。
RANSAC只能从特定的数据集中估计出一个模型,如果存在两个(或多个)模型,RANSAC不能找到别的模型。


2. RANSAC算法示例(线性回归)

下面结合一份线性回归的代码来看:

拟合二维平面中的带噪音直线,其中有不超过10%的样本点远离了直线,另外90%的样本点可能有高斯噪声的偏移

要求输出为

ax+by+c=0的形式
其中a > 0 且 a^2 + b^2 = 1
输入描述:

第一个数n表示有多少个样本点 之后n*2个数 每次是每个点的x 和y

输出描述:

输出a,b,c三个数,至多可以到6位有效数字

示例1

输入

5
3 4
6 8
9 12
15 20
10 -10

输出

-0.800000 0.600000 0.000000

说明

本题共有10个测试点,每个点会根据选手输出的参数计算非噪音数据点的拟合误差E,并根据E来对每个数据点进行评分0-10分
输入数据的范围在-10000

#include <cmath>
#include <cstdlib>
#include <ctime>
#include <iostream>
#include <limits>
#include <tuple>
#include <vector>
   
using real = float;
using namespace std;
   
class Point2D {
public:
    real x, y;
       
public:
    Point2D(real x_ = 0, real y_ = 0) :
        x(x_), y(y_) {}
       
    bool operator == (const Point2D& p) {
        return fabs(x - p.x) < 1e-3 && fabs(y - p.y) < 1e-3;
    }
};
   
class Solution {
public:
    vector<real> ransaclr(vector<Point2D>& pts, real outlier_prob = 0.1, real accept_prob = 1e-3, real threshold = 10.0) {
        int n = pts.size();
        real sample_fail_prob = 1 - (1 - outlier_prob) * (1 - outlier_prob);
        int K = log(accept_prob) / log(sample_fail_prob);
           
        real a_res, b_res, c_res;
        real min_error = numeric_limits<real>::max();
           
        //cout << "K = " << K << endl;
        for (int k = 0; k < K; ++k) {
            Point2D p1, p2;
            while (p1 == p2) {
                p1 = pts[rand() % n];    // n maybe greater than 65535
                p2 = pts[rand() % n];
            }
               
            //cout << "p1 = " << p1.x << " " << p1.y << endl;
            //cout << "p2 = " << p2.x << " " << p2.y << endl;
               
            real a, b, c;
            a = p1.y - p2.y;
            b = p2.x - p1.x;
            c = p1.x * p2.y - p1.y * p2.x;
            real t = sqrt(a * a + b * b);
            a /= t;
            b /= t;
            c /= t;
               
            //cout << a << " " << b << " " << c << endl;
               
            real error = 0.0;
            int inliers = 0;
            for (int i = 0; i < n; ++i) {
                real dis = fabs(a * pts[i].x + b * pts[i].y + c);
                if (dis < threshold) {
                    ++inliers;
                    error += dis;
                }
            }
               
            //cout << "inliers = " << inliers << endl;
            //cout << "error = " << error << endl;
               
            if (static_cast<real>(inliers) / static_cast<real>(n) > 0.7) {
                if (error < min_error) {
                    min_error = error;
                    a_res = a;
                    b_res = b;
                    c_res = c;
                }
            }
        }
           
        return vector<real>{ a_res, b_res, c_res };
    }
};
   
int main() {
    int n;
    cin >> n;
    vector<Point2D> pts(n);
    for (int i = 0; i < n; ++i)
        cin >> pts[i].x >> pts[i].y;
       
    srand((unsigned)time(nullptr));
    auto params = Solution().ransaclr(pts, 0.1, 1e-4, 10.0);
    cout << params[0] << " " << params[1] << " " << params[2] << endl;
       
    return 0;
}

3. 反思与总结

上述代码是商汤科技2018年的笔试题,答案来自牛客网上的标准答案,但是!!!

1------------------

w表示每次从数据集中选取一个局内点的概率,如下式所示:w = 局内点的数目 / 数据集的数目
通常情况下,我们事先并不知道w的值,但是可以给出一些鲁棒的值。假设估计模型需要选定n个点,w^n是所有n个点均为局内点的概率;1 − wn是n个点中至少有一个点为局外点的概率,此时表明我们从数据集中估计出了一个不好的模型。 (1 − wn)k表示算法永远都不会选择到n个点均为局内点的概率,它和1-p相同。 1 − p = (1 − w^n)^k

在这里插入图片描述

这道题中,用来计算参数模型的点为两个,n = 2,点是内点的概率为0.9,两个点都为内点的概率为0.9*0.9, 两个点中至少有一个为外点的概率为 1 - w^n = 1 - 0.9*0.9 ,这是k的计算表达中的分母。p为算法K次迭代后接受的概率,1 - p就是不接受的概率(k次迭代中每次随机选择都有外点),这是分子,此处可以看出代码中的函数名有误。

或一种说法: 其中,p为置信度,一般取0.995;w为"内点"的比例 ; n为计算模型所需要的最少样本数。

2---------------------

如果你真的结合RANSAC思想和代码来比对,会发现有BUG。 请注意第一部分中的那两句紫色的话

RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点,并用下述方法进行验证:
1.有一个模型适应于假设的局内点,即所有的未知参数都能从假设的局内点计算得出。
2.用1中得到的模型去测试所有的其它数据,如果某个点适用于估计的模型,认为它也是局内点。
3.如果有足够多的点被归类为假设的局内点,那么估计的模型就足够合理。
4.然后,用所有假设的局内点去重新估计模型,因为它仅仅被初始的假设局内点估计过。
5.最后,通过估计局内点与模型的错误率来评估模型。

代码中首先判断

static_cast<real>(inliers) / static_cast<real>(n) > 0.7

也就是说内点足够多,比例大于0.7,说明模型合理。

然后我们需要用所有的内点重新估计模型,比如说我们可以用最小二乘法,根据这些内点线性拟合更新abc参数的值。 接下来评估模型好坏。

然而,我们在衡量模型的好坏(评估模型)的时候,不是用内点数量(有时候情况会用内点数量来衡量)来看,也不是用所有点来评估模型,而是用此时所有的内点来评估。也就是说,这道题中min_error应该使用所有的内点来计算,而不是代码中所有的点。

RANSAC可以用于哪些场景呢?

最著名的莫过于图片的拼接技术。优于镜头的限制,往往需要多张照片才能拍下那种巨幅的风景。在多幅图像合成时,事先会在待合成的图片中提取一些关键的特征点。计算机视觉的研究表明,不同视角下物体往往可以
通过一个透视矩(3X3或2X2)阵的变换而得到。RANSAC被用于拟合这个模型的参数(矩阵各行列的值),由此便可识别出不同照片中的同一物体。可参考下图:







另外,RANSAC还可以用于图像搜索时的纠错与物体识别定位。下图中,有几条直线是SIFT匹配算法的误判,RANSAC有效地将其识别,并将正确的模型(书本)用线框标注出来:



·

标签:RANSAC,parameters,局内,模型,算法,详解,参数,data
来源: https://blog.51cto.com/u_15262460/2883066