论文笔记--跨模态间的人脸与人名对齐方法研究-2012
作者：互联网
论文信息：
硕士论文-跨模态间的人脸与人名对齐方法研究-2012-复旦大学-吴伟
文章目录
摘要
本文提出了一种有效的自动人脸一人名对齐框架，能够更有效和更精确的 支持跨媒体新闻检索。
本文将人名重要性评估（ＮＳＲ）、人脸～人名内聚度度量（ＮＦＣＭ）、基于Ｗｅｂ的多模态信息挖掘以及改进的自适应的模拟退火遗传算法进行结合，共同构造成一种新颖的人脸一人名对齐框架，该框架能够有效的挖掘人脸和人名之间的内在关联性，进而提高跨媒体检索的性能。
技术
框架图
人名重要性评估
人名检测
- 使用工具：stanfordNLP
句法分析获得人名重要性&语义细化
人脸检测&人脸特征表示
人脸内聚度度量
k近邻，相似度
自制网络爬虫
##自适应模拟退火遗传算法
数据集
##介绍
本文所使用的数据集是基于Berg等人构造的Labeled Yahoo！News Data，并且通过Guillaumin等人再次完善的大规模新闻数据集，这些新闻数据都是来源于雅虎新闻，每条新闻数据包含一张新闻图片以及相应的文本标注。
该数据集总共包括２００７１条图片一文本新闻数据，所有的这些新闻数据总共包括３１１４７张人脸图片，而这些人脸图片属于５８７３个不同人。
Guillaumin等人对该数据集进行了完全标注，。过滤后的数据集则总共包含１９３８９条图片一文本新闻数据，这些新闻数据总共包含２８９７７张人脸图片和３６１０６个人名。
实验结果
四组评估模式
（１）Ｂａｓｅｌｉｎｅ（ＮｏＴｏｐ＋ＮＦＣＭ）：对数据集进行基本的预处理过程，同时不对文本中的人名进行过滤筛选过程，也不对人脸进行内聚度评估方式下的人脸一人名对齐性能。
（２）Ｂａｓｅｔｉｎｅ（ＮＦＣＭ）＋ＮＳＲ（ＴＯＰ
Ｎ）：对数据集进行基本的预处理过程，在（１）中的Ｂａｓｅｌｉｎｅ模式下，新增人名重要性评估算法模块，并且配上人名过滤筛选ＴＯＰ Ｎ操作。
（３）Ｂａｓｅｌｉｎｅ（ＮＦＣＭ）＋ＮＳＲ（ＴＯＰ烈＋１））：对于数据集进行基本的预处理过程，在Ｂａｓｅｌｉｎｅ模式下，新增人名重要性评估算法模块，并且配上人名过滤筛选ＴＯＰ烈＋１）操作。
（４）Ｂａｓｅｌｉｎｅ（ＮＦＣＭ）＋ＮＳＲ（ＴＯＰ Ｎ）＋ＷＭＩＭ：对于数据集进行基本的预处理过程，在Ｂａｓｅｌｉｎｅ模式下，新增人名重要性评估算法模块，并且配上人名 过滤筛选ＴＯＰＮ操作，同时在人脸一人名对齐过程之前，新增基于Ｗｅｂ挖掘的多模态信息补充（ＷＭＩＭ）这一模块操作。
结果（整体数据集）
将改进的自适应模拟退火遗传算法（ＩＳＳＡＧＡ）与标准遗传算法（ＧＡ）对比实验结果
结论–page-53
本文同时文本和图像两种媒体介质，在当前已有的相关文本和图像处理技术基础之上，新增并完善了相关方法的实施，提出了一种较为新颖的整体框架用来对大规模的数据集进行自动的人脸一人名对齐过程，进而以达到大大提高新闻数据检索相关性的目的。
本文对当前公开的大规模数据集，进行了详细并多样化的数据实验。
本文对本为提出的人脸一人名对齐方法框架中的各个环节：人名重要性评估、基于Ｗｅｂ的多模态信息发现、人脸集内聚度度量、改进的自适应模拟退火遗传算法，分别进行了充分的实验验证，也各自都得到了不错的实验结果。
参考文献
图像(跨媒体)检索
[1] R.Datta,D.Joshi,J.Li,and J.Z.Wang,“Image Retrieval:Ideas,Influences,and Age”,ACM Computing Surveys(csuR),v01.40,no.2,Article Trends ofthe New 5,2008.
[4]R.Yang and A.G.Hauptmanan,“A Review of Text Broadcast News and Image Retrieval Video”, Information Retrieval,v01.1 0,pp.Approaches for 445—484.2007.
[5]Y.T.Zhuang,Y Yang,and F.Wu,“Mining Semantic Correlation of Heterogeneous Multimedia Data for Cross—media Retrieval”,IEEE Transaction on Multimedia, v01.10,No.2,PP.221—229,2008.
[6]Y Yang,D.Xu,F.R Nie,J.B.LuG,and Alignment Y.T.Zhuang, for Cross Media with Local Retrieval”,Proc.MM 2009,PP. “Ranking Regression and Global 175—1 84,2009.
人脸标注
[8]RT.Pham,M.F.Moens,and T.Tuytelaars,“Cross—media Alignment of Names and Faces”,IEEE Transactions on Multimedia,v01.12,no.1,pp.13—27,2010.
[9]M.Guillaumin,T.Mensink,I.Verbeek,and C.Schmid,“Face Recognition from Caption-based Supervision” International Journal of Computer Vision, v01.96,no.1 PP.64—82,2012.
[10]B.Bozorgtabar and G.A.Rezai Rad.“A Genetic Programming—PCA Hybrid Face Recognition Algorithm”,Journal 2,PP.170—174,2011.
[12]D.D.Le and S.Satoh,“Unsupervised Face Annotation by Mining the Web”,Proc.ICDM2008,PP.383—392,2008.
[15]T.L.Berg,A.C.Berg,J.Edwards,M.Maire,R.White,Y W.The,E. Learned—Miller,and D.Forsyth,“Names and Faces in the News”,Proc.CVPR 2004,v01.2,PP.848—854,2004.
[23] Y.Su, S.Shan,X.Chert,and W.Gao,“Hierarchical and Local for Face Classifiers Recognition” IEEE Ensemble of Transaction on Global Image Processing,v01.18,no.8,PP.1885—1896,2009
[31]T.L.Berg,A.C.Berg,J.Edwards,and M.Maire,“Names and Faces”, Technical Report,U.C.at Berkeley,2007.
[33]M.Ouillaumin,T.Mensink,J.Verbeek,and C.Schmid,“Automatic Face Naming with Caption-based Supervision”,Proc.CVPR 2008,PP.1-8,2008.
标签：模态,人名,一人名,人脸,遗传算法,对齐,数据,2012 来源： https://blog.csdn.net/lingpy/article/details/95778504