融合高斯金字塔特征的低分辨率人脸识别
发布时间：2021-12-02
摘要:为提高低分辨率人脸图像的识别性能，提出一种基于高斯图像金字塔特征融合的低分辨率人脸识别方法.首先，通过多尺度分析技术建立低分辨率人脸高斯金字塔;针对金字塔各层人脸图像特点，使用恰当的特征提取方法获取各层图像的特征谱，其中底层图像进行局部二值模式计算，并将统计直方图序列作为该层的人脸特征谱;中间层使用适当的Gabor滤波器进行卷积，提取的Gabor特征谱作为中间层的人脸特征谱;采用方向梯度直方图对顶层提取人脸边缘细节特征谱;最后，对高斯金字塔的每层特征谱进行连接处理，并作为整个人脸图像的特征向量放入3种分类模型(KNN，SVM和RF)中进行分类识别，结合各分类模型对低分辨率人脸图像的优势，计算权值对各结果进行加权投票融合，得到最终分类结果.实验结果显示，本文算法在ORL和YALE等人脸库上取得良好识别效果，在23×28像素的人脸图像上获得93.5%的识别率，并对光照、表情、姿态变化等具备一定的鲁棒性.
关键词:低分辨率;加权投票法;高斯金字塔;特征融合;人脸识别
1引言人脸识别是当今活跃在图像处理、计算机视觉和模式识别等众多领域内的研究课题，以对人脸图像分析为基础，提取完成身份识别和验证的特征信息的生物识别技术，即人脸识别技术也以其独有的稳定性、便捷性等特点在诸多识别领域内被应用.其中，摄像监控领域是近年来人脸识别技术的主要战地，但在实际应用场景中，拍摄目标受到光照、距离、拍摄角度和设备自身等诸多因素影响，目标人脸往往以低分辨率呈现，这也是当前监控系统人脸识别自动化需要克服的重大阻力[1，2].
目前，人脸识别的研究方向仍在从传统的特征提取方向[3，4]向深度学习方法[5，6]结合的方向发展.自1991年起由Turk[7]等人提出具有重要意义的特征脸算法后，近几十年间，学者们对传统特征提取算法的研究为人脸识别打下良好的基础.2014年，汤晓鸥[8]等研发的DeepID深度学习算法在高分辨率人脸库中取得良好效果.但当人脸是具有遮挡、姿态以及光照变化等质量不佳的低分辨率人脸时，现有人脸识别算法则需进一步优化.
针对上述问题，本文结合多尺度理论[9]，从另一个角度出发，针对低分辨率人脸图像的识别和验证难点，将多种对应的特征提取方法与图像金字塔相结合，提出一种基于低分辨率人脸图像的融合局部和全局信息的人脸特征提取方法.该方法首先对人脸图像进行分解，建立高斯金字塔，构建多尺度空间;再对金字塔中每层图像运用不同算子求取特征谱，底层运用LBP纹理算子获得LBP特征谱，中间层运用一组Gabor函数进行卷积，获取Gabor特征谱，顶层运用HOG提取边缘信息获得HOG特征谱，3层特征谱融合构成特征融合金字塔;最后对各层特征谱进行分块统计组合成人脸特征向量，将获得的特征向量通过分类器进行决策融合，来实现对不同人脸图像的识别，通过在不同人脸数据库上的实验结果验证该方法的有效性.
本文组织结构如下:第1节介绍低分辨率人脸的和多尺度高斯金字塔的相关知识;第2节介绍本文算法高斯人脸金字塔的构造、特征数据的提取，以及决策层融合模型;第3节描述实验内容，以及结果分析;第4节对本文算法进行总结和展望.
2相关工作
2.1低分辨率人脸
随着高清设备的出现，人脸识别技术的发展非常迅猛，低分辨率图像由逐渐退出历史舞台的趋势.但在一些特殊场合和历史资料中，低分辨率人脸也是不可避免的问题，一些多年前存档的标清成像资料(如自动取款机监控，重点区域监控)，以及远距离成像，弱光线成像，雾气干扰成像等.低分辨率人脸还大量存在.因此，研究在特殊场景或条件下的低分辨率人脸的识别问题具有一定的应用价值.
针对低分辨率人脸的研究，多数学者仍从传统特征方法入手，如戴等人[10]提出一种基于局部二值模式(LocalBinaryPattern，LBP)纹理描述算子的低分辨率人脸识别算法，因其算法的旋转不变性和灰度不变性等特点，对人脸图像的表情、模糊等因素具有一定的鲁棒性.但该模型仅考虑到人脸特征的局部性，对整体特征的把握和局部特征如光照等因素的敏感变化仍欠缺深入研究.
根据人眼视觉研究表明，图像的感知是自底向上而成的，从大细节至小细节，由全局到局部，多层次组合而成[11].因此众多学者将目光放在融合局部与全局特征的算法的研究上.赵等人[12]提出的基于双树复小波变换(Dual-treeComplexWaveletTransform，DTCWT)和局部二进制模式[13]直方图的低分辨率算法，虽将DTCWT和LBP结合，得到平移不变性和运算效率的优势，一定程度上顾及人脸局部与全局特征的融合，但仍对存在数据量维数过大且特征缺乏一致性能力的不足.基于此，多尺度空间理论为局部特征提取与全局特征提取算法的融合提供了新的思路，目前以此理论为基础的人脸识别相关算法如基于WPD-HOG金字塔特征的人脸鉴别算法[14]等，都取得了一定的实验成果.
2.2多尺度高斯金字塔
将图像以多尺度的层次表达出，并在不同的尺度下对图像分别处理是多尺度技术的关键.在传统研究中，单一尺度下的图像不易提取或检测到显著特征用以分析和研究，但往往转换尺度后，原本被忽视的特征反而更易被观察发现，所以多尺度技术是未来提取图像特征的主力方向.对图像进行多尺度层次的处理，首先要建立对图像的多尺度表达以及构建尺度之间的联系，亚采样金字塔是多尺度表达中常用的高效结构，它以一组不同分辨率的子图像组成对图像的多尺度表达.简单的亚采样在使图像尺寸减小的同时也造成信息的流失，引发的频谱混叠和噪声敏感会导致图像质量不佳.尺度空间理论中通过将减小尺寸与适当图像平滑同步进行的处理解决这一问题，图像通过恰当的平滑滤波器所得到的上层图像像素能更优地用于下层图像的计算.高斯核的多尺度空间产生性质使其常用作亚采样金字塔的平滑处理，将亚采样和高斯平滑处理重复进行，便构成图像高斯金字塔[9].
3主要工作
3.1基于低分辨率的高斯金字塔特征提
取特征提取是为了从人脸图像中提取可以表征人脸身份信息的特征向量，是影响识别性能的关键.故本文基于低分辨率的高斯金字塔特征提取过程分为3部分，第1部分是人脸的多尺度化构造，构建高斯图像金字塔;第2部分是根据需求通过不同算子对金字塔每层图像求取特征谱，本文底层图像使用LBP纹理算子，中间层图像运用一组Gabor函数小波，顶层运用HOG算子，选择3层特征谱融合构成特征融合金字塔;最后一部分是对各层提取的特征谱进行分块统计，形成最终的人脸特征向量，具体流程如图2所示.
3.1.1底层局部二值算子描述
局部二值模式LBP算子是常用在数字图像处理领域内，通过一组二进制编码串来描述图像局部细节特征信息的算子，其对光照的鲁棒性和旋转不变性使得提取的特征更为优越.鉴于本文是基于低分辨率人脸图像进行研究，尽管高斯金字塔在多尺度分析上拥有一定高效性，但随着金字塔层数的增多，人脸图像流失的细节也愈多，相较顶层人脸图像，底层人脸图像保留特征信息最完善，通过局部二值模式纹理算子可最大化地将人脸细节提取出来.
通常将初始LBP算子定义为一个3×3的区域内，该区域内的中心像素的灰度值作为该区域的阈值，再将中心点像素的值与周围8个像素值依次比较，若中心点像素灰度值大于周围点像素灰度值，则该点标记为0，反之中心点像素灰度值小于周围点像素灰度值，则标记为1.
3.1.2中间层Gabor小波
近年的研究普遍表明，Gabor小波变化同哺乳动物视觉神经元的感受视野有诸多共通性[15]，在图像空间频域内如方向选择、空间定位等提供了多精度、多通道的特性描述，一定程度上较好地处理了由环境变化引发的图像变化，故Gabor滤波被引用并广泛应用于人脸识别领域[16-19].基于Gabor小波对图像环境变化的敏感性，
3.1.3顶层HOG特征提取
HOG特征是计算机视觉和图像处理领域常用来进行目标检测的特征描述器，后因其对图像的几何不变性和光照不变性等优点被Dalal等[21]广泛应用于行人检测和人脸识别领域.该方法的中心思想是计算和统计局部区域的梯度直方图，以此构成特征再进行分类识别.低分辨率人脸构成的高斯金字塔的顶层图像因无法避免的信息流失，剩余特征信息中人脸的轮廓和边缘信息是该层图像提取的关键.
3.2决策层融合
高质量的人脸图像在提取有效的全局和局部细节特征后，通常算法已具有良好的人脸鉴别性能.对于低分辨率质量的人脸图像则仍需优化，使用多分类器在决策层面进一步融合，可有效提高识别率.本文采用集成学习中直观有效的简单加权投票法完成决策层的融合，加权投票法通过对有性能优势的基分类器赋予较高权值的办法尽可能地纠正单分类器的初始分类错误，以此提高预测能力和分类精度.
3.3算法流程
基于高斯金字塔特征融合的低分辨率人脸识别基过程主要包括以下步骤:
步骤1.原始低分辨率人脸图像经过高斯滤波平滑和亚采样建立人脸高斯图像金字塔，金字塔层数根据实际情况和问题进行设置，本文均采用3层高斯金字塔.
步骤2.对高斯金字塔的底层图像运用式(3)的LBP算子求取其LBP特征谱，并分块求取统计直方图作底层人脸的特征向量hLBP.
步骤3.选取适当尺度和方向的Gabor滤波器对高斯金字塔的中间层图像进行卷积，得到该层图像的Gabor特征谱并进行非线性池化操作得到特征向量hGabor.
步骤4.对高斯金字塔的顶层图像提取HOG特征，提取HOG特征的参数选取:cell为4×4，一个block内包含2×2个cell;再通过式(5)至式(8)，将各个block之间重叠4个像素，可以避免将一个连续的特征切割开，从而能更有效地提取该层的特征向量hHOG.
步骤5.将步骤2至步骤4中提取的各层特征谱连接起来构成用于描述人脸图像的特征向量，形成融合金字塔特征.如下:H=[hLBPhGaborhHOG]
步骤6.针对融合金字塔特征分别使用支撑向量机、随机森林和最近邻进行分类识别，将得到的分类结果voteSVM，voteKNN，voteRF通过式(9)再进行决策级融合.
步骤7.求得最终人脸图像的分类结果Vote.
4实验结果与分析
为验证本文算法对低分辨率人脸识别的有效性，选取ORL人脸数据库、YALE人脸数据库、CMU-PIE人脸数据库和AR人脸数据库的图片在MatlabR2016a下进行仿真实验.并与其他经典传统的人脸识别的算法进行比较.为在实验中实现真实模拟的低分辨率人脸效果，需要先对实验测试人脸数据图像处理，进行平滑下采样计算从原始分辨率到横纵两方向缩小数倍的分辨率.为确定合适的实验图像分辨率，我们选取4个数据库的每类人的人脸样本的半数作训练数据，剩余作测试数据，通过传统LBP算法，计算人脸图像在分块均匀模式下从原始分辨率到横、纵向分别缩小7倍时的分辨率的识别率，所得识别率随分辨率变化的图像如图4所示.
相关期刊推荐：《小型微型计算机系统》由中国科学院沈阳计算技术研究所主办，是国内外公开发行的计算机类学术性刊物。主要刊登计算机领域研究、应用等方面具有较高水平的学术性文学，面向对象为从事计算机科学研究工作的科研院所的科研人员和大专院校的师生。
从图4可以看出，传统的LBP算法的识别率随着图像的分辨率下降而明显下降呈现真正相关，当原始分辨率的下采样到3倍时的，3个数据库的识别率都降低至60%-70%的区间内，最低值为AR数据库的65.24%，已经较低.当下采样到7倍时的分辨率已下降到40%，无法满足实际运用中对识别率的要求.故，选取原始分辨率下采样至3倍到6倍的区间节点，根据实际数据库情况取舍，作为人脸图像的实验分辨率.
4.1ORL数据库实验
ORL标准人脸库是由英国剑桥实验室创建，总计400副图像其中包含40个志愿者人脸图像，每个人有10副图像，每幅图像尺寸为92×112，在表情和姿态上都存在这差异，并且人脸尺寸也包含有20%以内的变化.
对ORL中的每类人脸图像随机选取10副图片，其中随机取5张进行训练，剩余5张图像进行测试.本文中，设定训练次数为15，对15次的实验结果求平均值作为最终识别率结果.
4.1.1分块级数N与量化级数n的选择
本文采用多尺度理论中的金字塔技术，当低分辨率人脸图像通过金字塔技术处理后，顶层图像尺寸过小，故无须对该层进行分块讨论.分块的主要目的为了高效地提取人脸图像的局部信息，提高复杂环境下的识别效果[22-24].针对底层图像在分块级数N=1，2，3，4，5的5种情况，进行人脸图像分块LBP特征的提取;针对中间层图像在量化级数n=1，2，3，4，5的5种情况，进行人脸图像Gabor特征提取.最后使用最近邻分类器进行人脸图像分类，实验结果见表1和表2.
4.1.2实验结果对比
经过上述实验可得最佳的分块级数N和量化级数n，将这两参数的值分别带入图2所示流程图的算法，得出相应的识别率.在不同的分辨率实验样本下，本文算法与其他经典人脸识别算法的对比结果见表3.通过实验对比可得，本文算法在ORL人脸数据库的识别率均高于传统算法LBP、PCA、CSLBP、LTP+PCA、CSLBP+WPCA和LRLBP.对于传统算法LBP等则是只在低分辨率人脸图像上进行单一的特征提取，没有对局部特征的提取进行深入优化.而文献[26]算法着点于局部信息，融合了LBP算子和梯度计算方法的优势，较好的捕捉边缘纹理特征，所以识别率结果相较前者有了较大提升.本文算法在保证全局特征最大程度提取的前提下，对细节特征更具有鲁棒性，在复杂多变的干扰条件下识别率具有较大优势.再者，与同样着眼于局部细节特征的LRLBP等算法相比，本文算法在增强细节特征提取的同时，融合了人脸的全局特征，使得识别率较其他方法更具优势.
4.2YALE数据库实验
YALE人脸数据库是由耶鲁大学计算视觉与控制中心创建的传统人脸数据库，总计15位志愿者的165张图片，每幅图像尺寸为100×100，包含的光照、表情和姿态变化比ORL人脸数据库更为明显.
本文从YALE人脸数据库中的每类人脸图像的11副图片中随机抽取6张进行训练，剩余5张图像进行测试.针对像素值为50×50、40×40、35×35和25×25的人脸图像进行实验.同上，训练次数规定为15，对15次的实验结果求平均值作为最终识别率结果.
4.2.1分块级数N与量化级数n的选择
不同低分辨率的Yale数据库人脸的金字塔图像在分块级数N=1，2，3，4，5的5种情况下，对人脸图像进行分块LBP特征的提取;在量化级数n=1，2，3，4，5的5种情况，进行人脸图像Gabor特征提取.最后使用最近邻分类器进行人脸图像分类，实验结果见图5.
由图5可知，在分辨率为50×50和40×40时，分块级数N=3时图像识别率较高;在分辨率为35×35和25×25时，分块级数N=4时图像识别率达到最优，在所有低分辨率实验中，量化级数n=3时识别率最优.理论上，分块和量化的精细程度与特征信息描述能力息息相关，过大的分块级数则造成无法避免的非必要特征的冗余，相应地，量化级数过大也会增大计算复杂度和计算速度的负担，过小的级数选择则会产生没有统计意义的特征.在分辨率为35×35和25×25时，人脸图像仍保有较为稳定的局部特征信息，以此为依据，在实验中分辨率为50×50和40×40时，分块级数选择N=3，量化级数n=3;在分辨率为35×35和25×25时，分块级数N=4，量化级数选择n=3.——论文作者：侯谕融1，狄岚1，2，梁久祯3
