天天资源网 / 初中科学 / 教学同步 / 华东师大版（2012） / 七年级上 / 第一章 地球上的生物 / 2 生物的基本特征 / 基于指纹和人脸的多生物特征识别
资料简介
工学硕士学位论文基于指纹和人脸的多生物特征识别李安南哈尔滨工业大学2006年6月
国内图书分类号：TP391.4国际图书分类号：004.9工学硕士学位论文基于指纹和人脸的多生物特征识别硕士研究生：李安南导师：张大鹏教授副导师：申请学位级别：工学硕士学科、专业：计算机科学与技术所在单位：深圳研究生院答辩日期：2006年6月授予学位单位：哈尔滨工业大学
ClassifiedIndex：TP391.4U.D.C.:004.9DissertationfortheMasterDegreeofEngineeringMULTIBIOMETRICBASEDONFINGERPRINTRECOGNITIONANDFACERECOGNITIONCandidate：LiAnnanSupervisor：Prof.DavidZhangAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：ComputerScienceandTechnologyAffiliation：ShenzhenGraduateSchoolDateofOralExamination：June,2006University：HarbinInstituteofTechnology
哈尔滨工业大学工学硕士学位论文摘要使用单一的一种生物特征的生物特征识别系统通常会遇到传感器噪声，采集对人的限制和错误的拒识等的影响。由于这些原因，改进单一的匹配方法的尝试显得效果并不理想。多生物特征识别系统通过融合一个个体的多种特征来减轻这些问题的影响。同时在性能表现上，多生物特征识别系统可以达到单一生物特征识别很难达到的高度。人脸识别和指纹识别已经在许多生物识别系统中得到了应用。二者的融合可以有效的改进识别的性能。本文中论述了如何构建一个基于PC的融合指纹和人脸特征的多生物特征识别系统。在融合方法上本文提出了一种基于不确定区间的融合方法。将指纹特征划分为确定和不确定区间使得在确定区间上的识别性能好于原始的识别性能。而通过将人脸数据和不确定区间上的指纹数据进行融合则可改进不确定区间上的识别性能，从而使得系统的整体性能得到提高。关键词多生物特征识别；指纹识别；人脸识别-I-
哈尔滨工业大学工学硕士学位论文AbstractBiometricverificationsystemsthatuseasinglebiometricindicatoroftenhavetocontendwithnoisysensordata,restricteddegreesoffreedomandunacceptableerrorrates.Attemptingtoimprovetheperformanceofindividualmatchersinsuchsituationsmaynotprovetobeeffectivebecauseoftheseinherentproblems.Multimodalbiometricsystemsseektoalleviatesomeofthesedrawbacksbyprovidingmultipleevidencesofthesameidentity.Thesesystemsalsohelpachieveanincreaseinperformancethatmaynotbepossiblebyusingasinglebiometricindicator.Faceandfingerprintverificationhavebeenemployedinvariousbiometricapplications.Thefusionofthesetwobiometricshasanadvantageinimprovingverificationperformance.ThispaperaddressestheproblemsofbuildingamultimodalbiometricverificationsystemonPC,whichintegratefingerprintandfacetoimproveperformanceofverification.Inthispaperwepresentafusionmethodbasedonuncertainregion.Dividingminutiafeaturesoffingerprintintocertainanduncertainregioncouldmaketheperformanceofverificationincertainregionbetterthantheoriginalperformance.Throughintegratinguncertainfingerprintdataoffingerprintanddataofface,theperformanceofverificationinuncertainregioncanbealsoimproved.Bythisfusionstrategythewholeperformanceisimproved.Keywordsmultimodalbiometric;fingerprintrecognition;facerecognition-II-
哈尔滨工业大学工学硕士学位论文目录摘要...............................................................................................................................IAbstract.......................................................................................................................II第1章绪论................................................................................................................1
1.1课题背景...........................................................................................................1
1.2国内外研究现状...............................................................................................2
1.2.1国外研究发展现状..................................................................................2
1.2.2国内研究发展现状..................................................................................3
1.3本文主要研究内容...........................................................................................3
1.4本文结构...........................................................................................................4
第2章多生物特征识别理论框架............................................................................5
2.1多生物特征识别与单一生物特征识别...........................................................5
2.2多生物特征识别的涵盖范围...........................................................................5
2.3多生物特征识别中融合策略结构的分类.......................................................6
2.4多生物特征识别系统的融合级别划分...........................................................8
2.5本章小节.........................................................................................................10
第3章指纹识别模块..............................................................................................11
3.1指纹识别背景.................................................................................................11
3.2指纹模块主要内容.........................................................................................12
3.2.1指纹图像方向图提取............................................................................12
3.2.2指纹图像二值化....................................................................................14
3.2.3指纹图像细化........................................................................................15
3.2.4指纹细节点提取....................................................................................17
3.2.5指纹细节点去伪....................................................................................19
3.2.6指纹奇异点提取....................................................................................21
3.2.7指纹细节点匹配....................................................................................23
3.3本章小节.........................................................................................................24
第4章人脸识别模块..............................................................................................25
4.1人脸识别概述.................................................................................................25
4.2基于积分投影的人脸检测.............................................................................25-III-
哈尔滨工业大学工学硕士学位论文4.2.1定位头部区域........................................................................................264.2.2人脸图像的积分投影分析....................................................................274.2.3人脸检测定位........................................................................................284.3基于主成分分析的人脸识别.........................................................................294.3.1计算特征脸............................................................................................294.3.2基于特征脸的人脸识别........................................................................304.4本章小结.........................................................................................................31第5章多生物特征识别系统..................................................................................325.1多生物特征识别系统的软硬件实现.............................................................325.2基于不确定区间的融合框架.........................................................................345.2.1不确定区间的计算方法........................................................................345.2.2基于不确定区间的融合框架................................................................355.3输入特征的归一化.........................................................................................375.4实验结果.........................................................................................................375.4.1数据库....................................................................................................375.4.2单一特征测试........................................................................................395.4.3融合测试................................................................................................405.5本章小节.........................................................................................................41结论............................................................................................................................42参考文献....................................................................................................................43攻读学位期间发表的学术论文................................................................................47致谢............................................................................................................................48-IV-
哈尔滨工业大学工学硕士学位论文第1章绪论4.2.1课题背景现代科技使得人们之间相互交流越来越快捷和便利，在推动了社会的发展的同时也给人们带来一个新的课题：在信息时代，如何及时准确和有效地验证个人的身份，以保障人们的合法权益和有效性及时打击与遏制各种违法犯罪活动维护社会稳定。因为具有稳定性和唯一性，人们很早就学会利用指纹等人体上的生物特征来鉴别个人的身份。但是这种传统的方式需要大量的人工比对。面对今天越来越多越来越频繁的安全验证需求，人工比对就显得无能为力。而随着计算机技术的发展，使得基于生物特征的自动身份鉴别成为可能。随着这种安全需求的不断增长，生物特征识别技术（Biometric）成为近年来研究的热点。所谓生物特征识别是利用人体的某些生理特征（如指纹，掌纹，人脸等）或行为特征（如语音，步态等）来唯一的鉴别个人的身份。这些特征是相对稳定和唯一的。近年来随着研究的深入和广泛以及生物特征识别技术特别是自动指纹识别技术的广泛应用，越来越多的问题浮现出来。以指纹识别技术为例，虽然自动指纹识别技术目前已经相当的成熟，但是据统计仍有约2％的人无法提供清晰的可被计算机辨识的指纹。而当面对一些特殊情况时，比如手指受伤或残疾人没有手掌，传统的生物特征识别技术就显得无能为力。而多生物特征识别技术为这些问题提供了可行的解决方案[1,2]。多生物特征识别技术利用将单一生物特征的多个样本（比如同一个手指不同时期的按压指纹）或多个不同的生物特征（比如人脸和指纹）进行融合以克服单一生物特征的不足[3]。与单一的生物特征识别相比，多生物特征识别具有如下的优势：1）多生物特征识别可以提供更高的安全性，由于引入了多个生物特征或
样本这就使得系统出错的概率大大降低。2）多生物特征识别可给用户提供更灵活方便的安全级别选择。多生物特
征识别可给用户提供不同安全级别的选择，使得用户在安全性和方便性之间找
到最适合其需求的解决方案。3）多生物特征识别具有更广泛的适应性。引入多个生物特征可以有效的-1-
哈尔滨工业大学工学硕士学位论文避免诸如用户不能提供清晰的指纹这样的问题给系统和用户带来的不便。对不能提供某些生物特征的残疾人，多生物特征识别系统则可以避免将他们拒绝在系统之外。4.2.1国内外研究现状4.3国外研究发展现状在上世纪90年代中期，国外的一些学术期刊上开始出现多生物特征识别的相关学术文章。受到当时生物特征识别技术的发展限制，当时的学术文章数量还比较少，研究内容的深度和广度也有一定的局限。一方面早期的生物特征识别研究多集中在指纹等比较狭窄的领域，另一方面从事生物特征识别研究的研究者数量也相对较少，这些都限制了多生物特征识别研究的发展。尽管受到条件的限制，这个时期仍出现了一批对后续研究有较大影响的研究成果。1992年L.Xu等[4]将Dempster-Shafer证据融合理论应用于手写识别；
1994年Brunelli等[5]在年将人脸特征和语音特征进行融合；1997年L.Hong和
A.K.Jain等[6]将指纹识别和人脸识别进行融合；1998年J.Kittler等[7]提出了多分类器融合的基本理论框架。这些早期的探索奠定了多生物特征识别研究的基础，对后来的研究产生了重大的影响。进入21世纪生物特征识别的研究逐渐深入和广泛。虹膜识别[8,9]，掌纹识别[10,18,19]，步态识别，掌几何识别[11]等新兴生物特征识别研究领域的逐渐兴起，指纹识别，人脸识别等领域也有一批比较成熟的成果的形成。随着这些条件的逐步成熟和更多的研究者投入到生物特征识别的研究中，多生物特征识别研究在2000后特别是2003年之后迎来了一个比较大的发展[11-16]，出现了一系列的学术文章，所涉及的内容也更广泛和深入。一方面所涉及的生物特征更广泛，例如美国密西根州立大学A.Ross等利用掌几何，人脸和指纹特征进行融合[11]，王蕴红等将虹膜和人脸进行融合[17]。另一方面所涉及单一生物特征的内容也更深入，产生了一批对同一生物特征用不同的识别方法进行融合的学术文章。例如X.Lu等用三种不同的方法对人脸特
征进行特征提取和融合[13]；A.K.Jain等用多种匹配方法对指纹细节特征进行融合[12]。2006年出现了《HandbookofMultibiometrics》，这是多生物特征识别领域第一部系统的专著。这标志着多生物特征识别的研究进入到了一个相对成熟的-2-
哈尔滨工业大学工学硕士学位论文发展阶段。随着研究的深入，一批多生物特征识别应用产品也应运而生。4.2.1国内研究发展现状国内关于多生物特征识别的研究起步比较晚。2000之后国内的期刊上开始出现介绍多生物特征识别的相关文章[20,21,22]，只有少数研究机构开展了相关的研究。随着国际上研究的发展，近年来国内多生物特征识别的研究也有了比较快的发展。其中，中科院自动化所王蕴红等开展了指纹与语音识别[23]，虹膜与人脸的融合[17]。浙江大学和浙江大学开展了人脸和语音识别的融合[24]。香港理工大学和哈尔滨工业大学开展了基于掌纹识别的多生物特征识别融合[25]。国内关于多生物特征识别的研究虽然起步比较晚，但是发展速度很快，也相当有自己的特色，在国际上目前已能占据一席之地。在应用方面，一些有自己特色的国内多生物特征识别应用产品近年来也涌现出来。例如，中科院的基于人脸和虹膜的自动通关系统。4.3本文主要研究内容目前被人们所研究的各种生物特征中，指纹作为一种最早被人们所认识的生物特征，其发展程度最为成熟。一方面形成了成熟的指纹识别算法，另一方面获得了广泛的商业应用。除了指纹，另一个热门的生物特征就是人脸。虽然应用成熟程度较指纹识别等还有一定的差距，但是由于具有非接触性等独特的优点，使得人脸识别在某些方面与指纹识别形成了良性的互补。这就使得指纹+人脸成为一个理想的多生物识别组合。本文的主要研究内容是基于指纹识别和人脸识别技术进行多生物特征识别技术的研究，并基于PC建立起一个多生物特征识别演示系统。其中主要研究内容包含，指纹识别，人脸识别和信息融合三大部分。指纹识别方面的主要研究内容是基于细节点的指纹特征提取匹配方法。人脸识别方面的主要研究内容为基于积分投影方法的人脸检测和基于主成分分析的人脸识别。在融合方面本文的主要研究内容包含基于指纹细节特征和人脸的距离特征的匹配分数归一化，和应用不确定区间的融合架构。-3-
哈尔滨工业大学工学硕士学位论文4.2.1本文结构本文第1章为绪论，主要介绍多生物特征识别的研究背景，国内外研究现状和本文的结构等。本文第2章的内容是关于多生物特征识别基本内容和理论的介绍。主要包含，多生物特征识别的研究对象，多生物特征识别融合策略结构的分类，融合策略的级别划分等。本文第3章介绍融合系统中的指纹识别模块。其内容包含，指纹图像方向图的提取，指纹图像的二值化，指纹图像的细化，指纹细节点的提取，指纹细节点去伪，指纹奇异点提取，指纹细节点匹配。本文第4章介绍融合系统中人脸识别模块，内容包含，基于积分投影方法的人脸检测，基于特征脸方法的人脸识别。本文第5章内容为基于指纹特征和人脸特征的多生物特征融合以及相关实验结果分析。-4-
哈尔滨工业大学工学硕士学位论文第2章多生物特征识别理论框架4.2.1多生物特征识别与单一生物特征识别一个完整的生物特征识别过程由两个基本的组成部分：特征提取和特征匹配。在单一的生物特征识别中由于只存在一个特征提取模块和一个匹配模块，所以最终的决策都来源于匹配模块对两组特征的匹配结果。而对于多生物特征识别，存在多个特征提取和特征匹配模块，这就产生了多种信息，需要一个融合的模块将这样的多种信息融合成一个最终的决策结果输出。而这一融合模块在识别过程中的时间位置不同和空间位置不同就会产生不同的多生物特征识别的框架结构。这就需要对其进行必要的分类。4.2.2多生物特征识别的涵盖范围多生物特征与单一生物特征的区别体现在融合多种不同的信息。这个“多”体现在五个不同的方面[3,26]：1）多个传感器输入(MultipleSensors)：即对同一生物特征通过多个传感器得到不同的输入。例如，对同一手指通过光学和电容两种采集器获取不同的指纹图像。2）多种生物特征(MultipleBiometrics)：即对同一个人引入其身上不同的生物特征。例如，获取同一个人的指纹和人脸图像进行融合。3）多个特征个体(MultipleUnits):对某一种生物特征，同一个人含有多个个体。比如一个人含有十个手指，两个手掌，两个虹膜等。多个特征个体就是指对同一类特征采集不同的个体的信息进行融合，例如对同一个人采集其同一手掌上食指和中指的指纹图像进行融合。4）多次采集(MultipleSnapshots)：即对同一生物特征进行多次采集，获取多个样本进行融合。例如多次采集同一手指的指纹图像。5）多种匹配方法(MultipleMatchers)：即对同一生物特征，采用不同的特征提取和匹配方法，将两种方法的结果进行融合。比如，对同一幅指纹图像分别用基于细节点的方法和基于Gabor滤波器的方法进行特征提取和识别，最终-5-
哈尔滨工业大学工学硕士学位论文将两种方法获取的信息进行融合。可以看出，与单一生物特征识别相比多生物特征识别的引入大大扩展了获取信息的范围，也大大扩展了信息选择的灵活性。这为生物特征识别技术的发展开拓了新的空间。图2-1多生物特征的涵盖范围Fig.2-1Variousscenariosinmultimodalbiometric4.2.1多生物特征识别中融合策略结构的分类多生物特征识别中的一项主要内容就是将多个分类器，按照某种结构进行组合，从而实现匹配结果的优化。常见的融合策略结构有三种[26]，即：并行结构，串行结构和树型结构。-6-
哈尔滨工业大学工学硕士学位论文1)并行结构：并行的融合策略结构将多个分类器并列，通过融合模块将这些分类器的分类结果进行融合得到最终的结果。其特点是不同分类器之间，其分类结果相互没有影响。图2-2并行结构Fig.2-2Parallelarchitecture2)串行结构：串行的融合策略结构将多个分类器串行，每个分类器的输入是上一个分类器的结果，最终通过若干个分类器进行若干布分类得到最终结果。其特点是每个分类器的分类结果与其他分类器的分类结果相关。在系统中类的数目比较大的时候，串行结构在缩小检索范围方面具有优势。在一个识别系统中如果系统注册用户数目比较大，识别出一个用户就需要做大量的匹配比对，这样就会消耗大量时间使系统的效率变得低下。如果引入若干个串行的时间消耗上比较经济的分类器，就可以通过若干次分类大大缩小需要最终比对的范围。从而提高系统的运行效率。图2-3串行结构Fig.2-3Serialarchitecture3)树型结构：树型结构可以看作是并行结构和串行结构的折中和综合。他兼有并行结构和串行结构的特点。树型结构的微观子结构是由并行结构和串行结构构成的。-7-
哈尔滨工业大学工学硕士学位论文图2-4树型结构Fig.2-4Hierarchicalarchitecture4.2.1多生物特征识别系统的融合级别划分多生物特征识别中融合模块的时间位置不同，就导致其融合策略所需求的输入的数据类型的不同，对应在生物识别过程中的相应位置这些输入的数据可以划分为四类[26]：1)特征或者度量值(feature/measurement)2)置信度数值(confidence)3)顺序数值(rank)4)抽象值(abstract)按照上述输入的类型可以对其进行层级的划分。在特征层(featurelevel)，从不同模式提取出的特征被融合成一个新的特征。这个新的特征空间可能具有更高的维数，理想的情况下这个新的特征应比原来单一的特征有更好的区分性。在置信度层(confidencelevel)，对于输入的模式，分类器给出一个表示其属于某一类的可能性的数值。在顺序层(ranklevel)，分类器对每一类给出一个先后的排序，排序最靠前的就是可能性最高的。这样的顺序值在识别的应用中需要综合其他的信息，因为一个排序最前的选择并不一定意味着在分类中具有最高的可信性。例如，在近邻法分类中，我们按照类间的距离进行排序，将输入的模式分类到距离最近的类中。虽然对于这个输入，这个类是相对最可能的。然而这个最近的距离本身的绝对数值可能很大，这个分类的可信性未必就是高-8-
哈尔滨工业大学工学硕士学位论文的。在抽象层(abstractlevel)输入的数据是一个抽象值，例如系统接受或者系统拒绝。研究者通常认为，一个识别的过程中不同的信息融合的越早，其融合的效果可能会越好。这是因为在一个完整的识别过程中，每一步都不可避免的带来一些误差，而且随着识别进程的推进，信息也进一步的抽象，不可避免的造成有益信息的丢失。层极的关系上，特征层效率的提高可以导致置信度层和抽象层的性能的提高，反之则未必。(a)(b)(c)图2-5融合的层极(a)特征层(b)置信度/顺序层(c)抽象层Fig.2-5Differentlevelsoffusion-9-
哈尔滨工业大学工学硕士学位论文4.2.1本章小节本章对多生物特征识别的基本理论框架结构进行了分析。根据融合对象的不同将多生物特征识别分为五种不同的类型。同时探讨了多生物特征识别的并行，串行和树型三种结构的特点。根据输入数据的类型和这些数据在生物识别过程中的位置分析了多生物特征识别系统的层极划分。-10-
哈尔滨工业大学工学硕士学位论文第3章指纹识别模块在本文中的多生物特生识别系统中，指纹识别模块起到了基础的作用。对于多生物特征识别系统，融合对象的选择对系统的性能有重大的影响。在多种指纹识别方法中我们选择了基于细节点的指纹识别方法。4.2.1指纹识别背景指纹识别具有悠久的历史也是目前最流行、最方便以及最可靠的个人身份认证方法之一。这是因为指纹作为一种生物特征有如下特性：1）唯一性：每个人的指纹是独一无二的，两人之间不存在完全相同的指纹。2）稳定性：指纹是一种相当稳定的生物特征，不会随着人的年龄的增长或身体健康程度的变化而变化。3）方便性：相对于其他生物特征指纹的获取非常方便。指纹采集器的尺寸小，重量轻，成本也比较低。这使得自动指纹识别具有良好适应性。相对于其他生物特征，指纹识别的研究历史最久，技术发展也最成熟，应用也最广泛。经过在大规模数据库上的测试和多年实际应用的考验，指纹识别技术充分证明了其可靠性。经过多年的产业化推广，已经可以在市场上看到各种各样的指纹识别应用产品。可以说指纹识别技术是目前各种生物特征中最实用的技术之一[27]。经过多年的研究，产生了多种多样的指纹识别方法。其中最成熟应用最广
泛的是基于细节点的指纹识别方法。本文中多生物特征识别系统中的指纹识别
模块应用了这种方法。其主要内容如下：1）指纹图像方向图的提取：指纹图像的方向图反映宏观的指纹方向走
向，是指纹识别技术的基础。2）指纹图像的二值化：基于指纹方向信息进行有针对性的二值化，从而
得到较清晰的指纹纹线信息。3）指纹图像的细化：通过对二值指纹图像进行细化，抽象出指纹的纹线
信息。4）指纹细节点的提取：从细化的指纹图像上提取细节点
5）指纹细节点去伪：从提取的细节点中去除伪点-11-
哈尔滨工业大学工学硕士学位论文6）指纹奇异点提取：通过方向图提取指纹的中心点7）指纹细节点匹配：利用中心点和细节点进行匹配4.2.1指纹模块主要内容4.3指纹图像方向图提取由于指纹方向图抽象了指纹脊线与纹谷交错平行分布的特点,反映了指纹图像纹理结构的本质,已越来越受到人们的重视。指纹方向图已经被认为是解决指纹自动识别中的某些关键技术的一个重要途径。方向图之所以具有如此重要是因为其具有以下特点：1）真实性指纹局部方向图真实地反映了指纹图像本质的纹线特征,再现了指纹的中心花纹、外围包络线和根基线的形状和走势。2）渐变性由于纹线具有缓变性的特点,求出的方向图也不可能发生走向的剧变,利用这一特性可以对在有噪声情况下求出的方向图进行平滑处理,从而可能获取低质量指纹图像的效果较好的方向图。3）抽象性块方向图是对纹线形状的一种抽象的描述,因此使研究指纹的几何拓扑结构问题得以大大简化。在本文中根据场合不同选用了两种不同的方向图提取方法。第一种是A.R.Rao[28]提出的利用梯度计算方向图的方法。该算法如下:将图像以w×w的窗口划分成块,对每一块内的每个象素计算x轴和y轴方向上的偏微分量∂x(i,j)和∂(,)。并按下式估算块平均方向：yijiwjw/2+/2+∑∑iig(i,j)=2∂(u,v)∂(u,v)xxyu=i−w/2v=j−w/2(3-1)iw/2+j+w/2∑∑(3-2)g(i,j)=((u,v)(u,v))∂2−∂2yxyu=i−w/2v=j−w/2⎛⎞11g(i,j)θ=tan−⎜⎟x2⎝(,)⎠gijy(3-3)
为了计算的方便，我们将最终获取的角度归一化为8个方向。-12-
哈尔滨工业大学工学硕士学位论文第二种方法[29]利用9×9的窗口模板计算方向。为估计方向图,在9×9的窗口上把指纹脊线的走向分为8个方向,如图3-1所示：图3-19×9模板Fig.3-19×9template对于图像的每一个像素,为了确定在该像素处脊线的方向,在以该像素为中心的9×9窗口内,分别计算8个方向上的灰度平均值,即将图3-1中标有i(i=0,1…,7分别代表8个方向)的位置的像素灰度值取平均得到Gmean[i],然后将这8个平均值按两两垂直的方向分成4组,0和4一组,1和5一组,2和6一组,3和7一组,计算每组中两个平均值的差值。Gdiff[j]=abs(Gmean[j]−Gmean[j+4])(j=0,1,2,3)为脊线方向,取差值的绝对值最大的两个方向为可能的脊线方向,若iMax=arg(Max(Gdiff(i)),则方向iMax和iMax+4为该像素处可能的脊线方向,若该像素处的灰度值为Gray,则脊线方向iDir如下式。⎧iMax,ifabs(gray-Gmean(iMax))
查看更多
Copyright 2004-2019 ttzyw.com All Rights Reserved 闽ICP备18023965号-4
天天资源网声明：本站点发布的文章作品均来自用户投稿或网络整理，部分作品未联系到知识产权人或未发现有相关的知识产权登记