论文阅读《A survey on 3D mask presentation attack detection and countermeasures》

作为科研小白，搞研究还是需要专注于一个方向，不然容易导致什么都做不好。所以说之前的kaggle比赛可能要放在一边了（主要是我的960实在是跑不动，kaggle送的时间也都被我浪费掉了），接下来还是要专注于3D面具呈现攻击的论文阅读上。以后应该会坚持一周两篇，最开始还是从综述开始。
论文链接：link

这是一篇2019年的综述，之前可能看过一遍，但有点忘了。19年的文章，因此一些新的技术不会涉及到，但还是了解一下吧。

Abstract

随着人脸识别系统的普及，人脸呈现攻击（就是给摄像头看模仿的人脸）不断威胁着这些系统。随着3D建模和打印技术的发展，高仿真的面具成为了攻破人脸识别系统的一大利器，也正是因此，近些年检测面具攻击的算法也不断被提出。本文

• 全面概述了面具攻击和检测的最新方法；
• 在一个共同的基础上定量比较了不同面具攻击检测方法的性能
• 在两个 3D 面具攻击数据集上评估了几种 2D 攻击检测方法的有效性，以显示它们是否适用于 检测3D 面具攻击。
• 提出了一些见解并总结了未来要解决的开放问题。

Introduction

呈现攻击的检测算法对于成熟的人脸识别系统是非常重要的，现有的方法大多通过硬件分析（传感器特征，眨眼检测和挑战响应）或软件分析（纹理，频率和运动模式），探索了真脸和假脸之间的不同点，以达到检测的目的。现有的呈现攻击检测算法有取得了一定的效果并得到应用，但它们大多数专注于二维攻击，而并没有将3D攻击纳入检测的范畴。已有简单的实验证明，现有的人脸识别系统能够轻易的被3D面具攻击欺骗，因此开发成熟的3D面具检测算法迫在眉睫。

现有的面向2D攻击（图片，视频）的检测算法在面对3D面具攻击是往往是无用的，比如纹理会被高仿真度的三维面具模仿等，因此3D面具攻击的检测会变得更具挑战性。现在已经有一定数量的面向3D面具攻击的检测算法了，但目前仍没有一个完整的survey，因此本文的目的是全面概述 3D 面具欺骗和反欺骗的研究工作。本文主要工作有：

• 我们总结了 3D 面具呈现攻击的特征，并回顾了过去十年 3D 面具攻击数据库和不同类别的检测技术的最新发展。
• 在统一条件下对不同的3D面具欺骗检测方法进行评估和定量比较
• 我们还进行了实验来评估 2D PAD 方法是否仍然可以很好地抵御 3D 面具攻击，并惊喜的发现一些基于纹理的方法的效果还不错。
• 基于实验结果进行了全面的分析，对检测性能、数据库和其他一些问题提供了一些见解，这有助于更好地理解 3D mask spoofing 的研究。

3D Mask presentation attack

3D面具的制造通常需要先对伪造对象的脸进行一次3D扫描，然后将采集到的模型送给3D生产机器来生产。目前的面具大概可以被分为硬面具和软面具两类。前者由纸，塑料等材质做成；后者通常是乳胶，硅胶材料，由于它更像皮肤并且能模仿表情动作，因此往往更难检测。

3D Mask attack database

• Morpho Database ：非公开的数据集，有灰度图像三维扫描数据，共406个样本。
• 3DMAD：首个公开数据集，有彩色图像和深度信息，共255个样本，硬质面具。
• 3DFS-DB：性别平衡的数据集，共520个样本，塑料面具，只能远程访问不能下载，
• BRSU：有短波红外和彩色图像数据，共141个样本。
• HKBU-MARs：很好的数据集，数据量大并且采集环境和面具种类多。我有申请过，数据方给了我完整的v1数据集，但却没有给我完整的v2数据集（少了一个对象），估计只有合作才能搞到完整的了，我的一些实验也难以做下去了。
• SMAD：软质面具数据集，是来自网上的资源，我记得视频效果不咋地。
• MLFP：是一个多光谱数据集，共1350个样本，面具是乳胶和纸质的，在非受限环境下录制。
• ERPA：一个非常小的数据集，共86个样本，有RGB，热，NIR，深度信息。
• Rose-Youtu：共有4225个视频，其中3350是公开的，包含三种攻击形式。面具攻击中的面具为裁剪或没裁剪过的纸质。
• WMCA：共1941个样本，从三种通道采集，三种面具材质。

3D Mask PAD Methods

现有的3D面具PAD方法主要是基于真实人脸皮肤和面具材料的差异，可以分为以下几类：基于反射/多光谱属性、基于纹理、基于形状、基于深度特征，以及基于其他线索的方法。

基于反射/多光谱属性的检测方法

最早的3D面具欺骗检测方法就是基于物体表面反射差异的。通过分析皮肤和面具材料在不同波长照明下的反照率值分布的不同来构建特征向量，再使用一个建议分类器进行判决。使用这种方法最大的缺陷在于需要特定的昂贵的设备，但已经有文章能够不借助额外设备完成反射信息的提取了。可是基于这种想法的文章好像已经没什么人在做了。

基于纹理的检测方法

这种方法借助不同的纹理特征描述符来探索真实人脸和面具的纹理图案差异。常用的纹理特征描述子有：LBP，MS-LBP，BLock-based-LBP，HOOP，BSIF，Haralick feature等，在特征提取器后街上一个分类器，在一些简单的数据集上能够得到很不错的效果。但是，当数据集中面具的质量越来越好或环境变化多（如HKBU-MARs）时，基于纹理的方法的表现还需要进一步的观察。

基于形状的检测方法

基于形状的 3D 面具PAD 方法使用形状描述符或图像变换从面部和 3D 面具中提取判别特征。这一块不是很懂，就没有仔细看。

基于深度特征的方法

与传统的手工特征相比，基于深度特征的方法倾向于具有更高的检测精度和更好的泛化能力。这些方法大都是将欺骗图像直接送入神经网络进行判断，或者将神经网络和手工特征（如运动，纹理等）结合起来。

基于其他线索的方法

如使用热成像光谱（成本高），凝视信息（需要用户配合），rPPG心率信息（合适的光照条件）。

Experimental evaluation

在本节中，文章对 3D 面具攻击数据库进行了一系列实验比较和评估，并尝试研究以下两个问题。

• 基于相同的数据库和评估指标，哪些3D面具欺骗检测方法表现更好？
• 对2D攻击表现出色的检测算法在3D面具呈现攻击上是否仍然表现良好？

相同条件下的比较结果

在这一部分中，文章找了十种不同原理方法的3D面具攻击检测算法，并在两个数据集上（3DMAD，HKBU-MARs）使用随机划分和LOOCV策略进行实验，实验结果如图：
由实验结果可以看到，
1、几乎所有的方法在3DMAD上的表现是要优于HKBU-MARs的，这也非常好理解，因为HKBU-MARs数据集中的面具更接近真实人脸。
2、由实验结果可以看到，相比之下，基于MS-LBP和Haralick的纹理方法在两个数据集上都有较好的表现，展现出了更优的准确性和更强的鲁棒性。
3、在3DMAD上，随机划分策略下的实验结果会优于LOOCV的实验结果，而在HKBU-MARs上情况相反。这个原因在于两个数据集上对象的数量不同。
4、文章还研究了分类器对算法的影响，发现虽然没有一个分类器对所有情况都适用，但线性SVM总体表现很好

测试二维检测算法在面具攻击下的效果

文章找了十个二维检测算法在3DMAD和HKBU-MARs上使用随机划分和LOOCV进行相同的比较实验，发现
1、包括基于纹理和基于深度学习在内的几种 2D PAD 方法在 3DMAD 数据库上实现了 0% 的 HTER。 与三维方法的结果相比，他们在更具挑战性的 HKBU-MARs-V1 数据库上的表现也令人满意。这表明为 2D 攻击提出的欺骗检测方法将在 3D 面具攻击上效果会变得很差的普遍看法是不正确的。
2、考虑到数据量的问题，基于深度特征的方法在数据量比较小的数据集上训练时，得到的结果没有很好。

现有 3D 面具 PAD 方法的报告结果

由于目前很多方法都是使用3DMAD和HKBU-MARs，并均使用HTER作为评价指标来做实验的，因此文章搜集了这些方法的相关实验结果来做比较。具体不展示了。

讨论

检测表现

从实验结果，首先我们可以看到不同方法的检测性能依赖于数据库和评估策略。一些基于深度学习和纹理的特征在一个数据库上取得了出色的性能（在 3DMAD 数据集上达到了 0% HTER），但它们在另一个数据库或不同策略下的性能并不令人满意。 此外，一些基于纹理的 2D PAD 方法已被证明适用于现有的 3D 面具数据库。 这意味着针对各种类型的演示攻击设计更通用的对策的潜在可能。 总体而言，得益于特征在局部纹理描述中的高度判别能力，基于多尺度 LBP、Haralick 特征、MB-LPQ 以及 LBP 与 GSLBP 特征融合的方法，在我们的研究中针对 3D 面具攻击取得了令人印象深刻的检测性能。

受 2D 人脸 PAD 方法进步的启发，可以通过设计新的特征描述符和探索新的深度学习框架 或融合多模态生物识别来提高对 3D 面具欺骗攻击的检测性能。此外，我们强调需要研究 3D 面具欺骗检测过程和人脸识别系统之间的相互依赖关系。现有的3D面具欺骗检测方法大多只关注传感器层面的PAD性能，没有考虑到整个识别过程。与 2D 类型欺骗不同，现有的 3D 面具欺骗数据库更加多样化。对于一些不太真实攻击的数据库，欺骗检测模块的误报错误可能对人脸识别系统的误匹配率影响较小，而对于那些具有超真实和用户自定义面具攻击的数据库，错误率较高（两者都是误报和漏报错误）会对人脸识别性能产生很大影响。最近的两项研究提出了识别速率和 3D 面具欺骗检测性能，它们更完整和强大地展示了 PAD 方案的有效性。

数据集

3D 面具攻击的数据库在设计有效和实用的检测方案方面发挥着重要作用。与 2D 欺骗样本相比，3D 面具欺骗要复杂得多，成本也高得多。因此，虽然已经向公众发布了几个3D面具数据库，但仍然存在两个主要问题。一是缺乏具有更多主题、更多类型的面具和更多真实世界变化的大型 3D 面具欺骗数据库。这肯定会限制报告反欺骗性能的研究工作。例如，一些基于深度学习的方法在小型 HKBU-MARS-V1 上的优势不如 3DMAD 数据库。此外，在用于训练和测试的通用且高效的随机划分策略下，大多数方法的检测性能在小型数据库上远不能令人满意。
另一个问题是 3D面具攻击的不同获取过程导致欺骗样本的质量不同，从而对检测性能产生很大影响。这里我们总结了三个与获取3D面具攻击数据库相关的因素，列举如下：
口罩生产过程 现有的3D口罩生产方式多种多样，即依赖第三方服务、基于3D打印机自行制造、使用剪纸、使用非定制化面具等 。 这个过程对面具欺骗质量有很大影响。 例如，SMAD 和 MLFP数据库使用具有纹理特征的非定制面具，如皱纹、胡须、胡须，在某些情况下，还有面部毛发。 与用户定制的掩码相比，这些面具不仅导致真实访问和欺骗样本之间的差异更大，而且更难以准确检测人脸区域。 此外，文章的实验结果显示了剪切区域和眼睛之间的适合度对基于运动的方法检测性能的影响。
样本记录过程基于实验结果，我们还观察到面具欺骗视频的收集过程对检测性能有影响。即使使用相同的3D面具制作服务（ThatsMyFace），3DMAD和HKBU-MARs-V1数据库在不同的视频录制设备和环境下表现出不同的欺骗效果。因此，同样的方法在这两个数据库上的检测结果差别很大。除了二维彩色图像，深度信息或多光谱图像已被考虑使用当前数据库中的特殊设备。这有助于为 3D 面具攻击检测提供更多的判别特征，但对特殊设备的要求将限制其广泛应用。此外，还探索了多模态生物识别系统来保护系统免受演示攻击，例如心电图与面部和指纹的融合，面部与虹膜的结合，面部与指纹的融合。尽管这些多模态方案需要收集或记录多个生物特征样本，但它是增强生物特征系统对不同类型表示攻击的鲁棒性的有前途的解决方案。
协议（策略）设计大多数现有的 3D 面具数据库没有设计用于训练和测试检测方法的协议。然而，从实验的结果，我们可以看到相同检测方法在不同协议下的巨大差异，尤其是在较小的 HKBU-MARs-V1 数据库中。因此，有必要为不同的 3D 面具数据库设计适当的协议，以评估检测方案的有效性。

其他

我们还强调了对更通用的算法的研究，以检测各种 3D 面具攻击和 2D 演示攻击。大多数现有的 3D 面具 PAD 方法专门针对 3D 面具攻击。目前还不清楚它们对 2D 呈现攻击的表现如何，学习它们对未知攻击的检测能力要困难得多。一些研究 提出了 2D 和 3D 表示攻击的检测方案，但很少有人探讨该检测方法在跨数据集实验中的有效性。由于训练数据有限，不同类型攻击之间的差距较大，现有方法在跨库实验中的泛化能力仍有待探索和提高。
此外，与 2D 演示攻击的检测一样，用户友好的 3D 面具 PAD 方案的设计对于将其扩展到实时应用程序起着重要作用。一些现有的基于反射、纹理或热信号的方法需要额外的硬件或用户协作来检测面具欺骗，这在实际应用中既昂贵又不方便。

标签：03,06,攻击,检测,数据库,面具,2021,方法,3D
来源： https://blog.csdn.net/qq_43090135/article/details/117519447