检测针对手机面部识别的演示攻击（一）
人脸是最易于访问的生物特征识别方式，可用于手机应用程序中的身份验证，并且很容易受到许多不同的演示攻击（Presentation Attack），例如使用打印的人脸/数字屏幕人脸来访问手机。 在将面部图像输入面部识别系统之前，演示攻击检测是非常关键的一步。 在本文中通过从面部图像中提取基于图像块的特征和整体深度图，介绍了一种新颖的基于双流CNN的表示攻击检测方法。 还介绍了具有模型优化，压缩和连续更新策略的双流CNN v2。 CNN v2显示出出色的概括性和效率性。 在具有挑战性的数据库（CASIA-FASD，MSU-USSA，重放攻击，OULU-NPU和SiW）上进行了广泛的实验，并与最新技术进行了比较。
0x01 Absert
生物特征认证系统旨在利用生理特征（例如指纹，面部和虹膜）或行为特征（例如打字节奏和步态）来唯一地识别个人。随着生物识别系统广泛应用于包括解锁手机和授权移动交易在内的实际应用中，生物识别欺骗或演示攻击（PA）成为一种巨大的威胁，在这种情况下，向生物识别系统提供了欺骗样本并试图将其欺骗。
已验证人脸是最易获得的生物特征识别方式，具有许多不同类型的PA，包括打印攻击（print attack），重放攻击（replay attack），3D面具（3D mask）等。因此，常规的人脸识别系统可能非常容易受到此类PA的攻击，并且面临无法计量的风险和损失。
为了开发一种不受各种类型的PA侵害的人脸识别系统，设计健壮的演示攻击检测（PAD或人脸反欺骗）系统，以将人脸样本分类为活体/欺骗的需求不断增加。识别其身份。以前的PAD方法可以分为三类。
首先是基于纹理的方法，该方法发现各种攻击媒介特有的辨别纹理特征。由于像素强度和不同类型的攻击之间缺乏明确的相关性，因此提取鲁棒的纹理特征具有挑战性。
第二种是基于运动的方法，旨在基于检测面部部分的运动（例如眨眼和嘴唇运动）对面部视频进行分类。这些方法适用于静态攻击，但不适用于动态攻击，例如重播或掩码攻击。
第三是基于图像质量和反射率的方法，该方法的设计是将欺骗性图像的叠加和噪声信息捕获。
大多数以前的面部PAD工作都将SVM应用于人工获取的特征。尽管卷积神经网络（CNN）在许多计算机视觉任务中表现出卓越的性能，但仅有几种基于CNN的面部PAD方法。这些方法通常使用CNN来学习表示，由SVM进一步分类。本文认为以多种方式进一步利用CNN，例如端到端的训练和额外的监督学习，是解决面部PAD问题的可行选择。
一方面，随着传感环境和功率放大器的种类越来越多，不寄希望于人工获取特征能来覆盖所有攻击。另一方面，需要CNN从数据中学习可靠的功能。随着面部欺骗数据库数量的增加，CNN能够利用大量的训练数据并学习通用信息来区分实时样本和欺骗样本。
根据这一观点，在本文中将介绍一种新颖的基于双流CNN的面部PAD方法，用于打印和重放攻击，称为CNN v1。所提出的方法从面部图像中提取基于图像块的特征和整体深度图，如上图所示。在这里，基于图像块的特征是从面部图像的局部区域中提取的，旨在了解整个图像中存在的欺骗纹理。深度图利用整个面部，将活动面部描述为3D对象，而将印刷和数字屏幕面部描述为平面。
结合基于图像块的特征和整体特征有两个好处：首先，利用本地图像块有助于学习独立于空间面部区域的欺骗模式。其次，整体深度图利用了欺骗攻击的物理特性，并学习了像素级标记。使用两个CNN分别学习基于图像块的特征和整体特征。对第一个CNN进行训练，以预测从面部图像中提取的每个图像块的得分，然后为该面部图像分配得分的平均值。
第二个CNN估计面部图像的深度图，并基于估计的深度图为面部图像提供活度分数。这两部分得分的融合导致最终估计的实况和欺骗等级。这些基于图像块的CNN和基于深度的CNN的组合称为CNN v1。
此外，为了将这种PAD方法嵌入到移动场景中，应用了体系结构优化，模型压缩和连续更新策略。将高级模型称为双流CNN v2。CNN v2以端到端的方式进行训练，与CNN v1相比，具有可比或更高的准确性，同时在移动电话系统上实现了实时效率。
0x02 Prior Work
传统的人脸PAD方法多数先前的工作都是利用人工获取的特征并采用浅层学习技术（例如SVM和LDA）来开发PAD系统。
许多工作都关注真人脸部和虚假之间的纹理差异。在先前的工作中已使用的常见局部特征包括LBP，HOG ，DoG ，SIFT 和SURF。然而，上述检测纹理差异的特征可能对不同的照明，相机设备和特定身份非常敏感。研究人员还寻求在不同颜色空间上的解决方案，例如HSV和YCbCr，傅立叶光谱和光流图（OFM）。
另外一些方法试图利用自发的面部动作。眨眼是一种提示，用于检测欺骗攻击，例如纸张攻击。还可以使用唇部运动来监测面部表情，或者结合音频和视觉的提示来验证面部表情。
但是，与其他人脸相关问题相比，使用深度学习技术在人脸PAD上所做的努力和探索仍然要少得多。因此，从融合基于局部纹理的决策和整体深度图的新颖观点出发，所提出的方法旨在进一步探索CNN在面部PAD中的功能。
图像深度估计从单个RGB图像估计深度是计算机视觉中的一个基本问题。近年来，由于数据驱动的方法，特别是在大型RGB-D数据集上训练的深度神经网络，以及弱注释(weak annotations)，取得了快速的进步。
具体地，对于面部图像，从一个图像或多个图像重建的面部也可以被视为深度估计的一种方法。但是没有任何先前的工作试图估计欺骗图像的深度，例如打印纸上的人脸。相比之下，本文的方法要估计活体人脸和欺骗人脸的深度，这尤其具有挑战性，因为CNN需要辨别两种情况之间的细微差别才能正确推断深度。
0x03 Patch- and Depth-Based CNN v1
在本节中介绍了针对移动PAD提出的CNN系统的详细信息。首先介绍一个称为CNN v1的通用CNN系统，该系统利用了两个CNN流：基于图像块的CNN和基于深度的CNN。为了针对移动场景量身定制系统，重新设计了基于图像块的CNN，并将其与基于深度的CNN（表示为CNN v2）结合在一起。此外提出了一种简单而有效的持续更新学习策略，以提高系统的鲁棒性。