小总结-特征点检测的两种方法-FC回归和heat map

def get_preds_fromhm(hm, center=None, scale=None):

    """Obtain (x,y) coordinates given a set of N heatmaps. If the center

    and the scale is provided the function will return the points also in

    the original coordinate frame.

    Arguments:

        hm {torch.tensor} -- the predicted heatmaps, of shape [B, N, W, H]

    Keyword Arguments:

        center {torch.tensor} -- the center of the bounding box (default: {None})

        scale {float} -- face scale (default: {None})

    """

    B, C, H, W = hm.shape

    hm_reshape = hm.reshape(B, C, H * W)

    idx = np.argmax(hm_reshape, axis=-1) # 首先通过argmax得到每个channel最大的相应的位置

    scores = np.take_along_axis(hm_reshape, np.expand_dims(idx, axis=-1), axis=-1).squeeze(-1)

    preds, preds_orig = _get_preds_fromhm(hm, idx, center, scale)

    return preds, preds_orig, scores

@jit(nopython=True)

def _get_preds_fromhm(hm, idx, center=None, scale=None):

    """Obtain (x,y) coordinates given a set of N heatmaps and the

    coresponding locations of the maximums. If the center

    and the scale is provided the function will return the points also in

    the original coordinate frame.

    Arguments:

        hm {torch.tensor} -- the predicted heatmaps, of shape [B, N, W, H]

    Keyword Arguments:

        center {torch.tensor} -- the center of the bounding box (default: {None})

        scale {float} -- face scale (default: {None})

    """

    B, C, H, W = hm.shape

    idx += 1

    preds = idx.repeat(2).reshape(B, C, 2).astype(np.float32)

    preds[:, :, 0] = (preds[:, :, 0] - 1) % W + 1

    preds[:, :, 1] = np.floor((preds[:, :, 1] - 1) / H) + 1 #然后得到每个热力图最热的部位的x和y的坐标，分别存在preds[:,:,0]和preds[:,:,1]中

    for i in range(B):

        for j in range(C):

            hm_ = hm[i, j, :]

            pX, pY = int(preds[i, j, 0]) - 1, int(preds[i, j, 1]) - 1

            if pX > 0 and pX < 63 and pY > 0 and pY < 63:

                diff = np.array(

                    [hm_[pY, pX + 1] - hm_[pY, pX - 1],

                     hm_[pY + 1, pX] - hm_[pY - 1, pX]])

                preds[i, j] += np.sign(diff) * 0.25 #  去计算热力图上最热部位的左右两边的热力值，如果右边的大，那么热力图的最热点（preds）的值就往右边移1/4个pixel，反之亦然。同样适用于上下两个像素的值，通过这种方式去得到一个接近亚像素的坐标值

    preds -= 0.5 #取中心的坐标

    preds_orig = np.zeros_like(preds)

    if center is not None and scale is not None:

        for i in range(B):

            for j in range(C):

                preds_orig[i, j] = transform_np(

                    preds[i, j], center, scale, H, True)

    return preds, preds_orig

就比较简单了，咱们多讨论一下

这种方法显然不是特别合理，首先说如果就用argmax肯定是不行的，因为可能边上的点其实跟你几乎一模一样就小一点点，那这样像素的精度只能达到1个pixel，其实很多关键点检测是缩小了去做的，那么达到的关键点坐标放大回去就会有几个像素的偏差，很多任务中会造成抖动，显然是不可接受的。这就是很多文章中会提及的heatmap的方法存在一个理论误差下值。

那么左边这段代码的方法方法可以稍微考虑下左右像素，实现亚像素精度。但是如果左右两个像素值其实比中心小很多，然后你还去区分左边多一点还是右边多一点，然后硬往那边挪1/4个像素，其实也是不合理的。

在训练标签的准备中，需要由数据标签坐标值去准备高斯热图

在训练的时候，所有的像素点都对Loss有贡献，但是在实际Inference的时候，只有5个像素点能决定最终的坐标，输出和坐标之间不能完全对应

像右边这种图，在算Loss的时候，中间的是5x5x4 = 100， 而右边的是(9-5)^2=16，似乎是右边的更好，但是在取了argmax之后，其实是中间的结果更好，就是上面所说的训练的时候计算的loss不能完全对应到输出坐标。