• 学前教育
  • 小学学习
  • 初中学习
  • 高中学习
  • 语文学习
  • 数学学习
  • 英语学习
  • 作文范文
  • 文科资料
  • 理科资料
  • 文档大全
  • 当前位置: 雅意学习网 > 初中学习 > 正文

    聚类分析算法 基于改进AP聚类算法的人脸标注技术研究

    时间:2020-03-11 07:17:16 来源:雅意学习网 本文已影响 雅意学习网手机站

      摘要: 利用网络新闻图像以及与图像相关的文字说明构造一个有人名标注的人脸库。人脸库中的人脸通过对新闻图像进行人脸检测得到,人名从与图像相关的文字说明中提取得到。通过一个聚类过程得到人脸与人名之间的对应关系,并通过一个合并聚类的过程可以识别出同一个人的不同名字。对AP聚类算法进行改进,实验表明相比于k-means与AP算法,改进的AP聚类算法能充分利用网络新闻图文互补的特性,从而得到更准确的人脸与人名对应关系。
      关键词:
      中图分类号: TP391.4 文献标识码:A 文章编号:2095-2163(2011)01-0035-04
      
      0引言
      现实世界中存在许多图像与文本相关联的数据,网络新闻是一个很典型的例子。在这种图文并茂的数据中,图像与相关联的文本是相互补充的,利用这种图文互补特性可以挖掘很多重要信息。如果能将网络新闻图像中出现的人物用其名字进行标注,就可以将图像检索[1-2]问题转化为文本检索[3]问题,从而可以很好地解决人物检索这一问题。采取手工标注的方法是有效的,但是多媒体和网络技术的迅速发展使得图像库越来越大,完全使用手工标注,工作量太大。网络新闻数据如图1所示,图像右侧是与此图像关联的文字说明。本文的基本任务是对新闻图像中出现的人脸用人名进行标注。
      虽然人脸识别[4]的研究已经很成熟,但是很难对图1中的人脸进行识别。因为图1中的人脸图像来源于网络,人脸的姿势、表情、光照等情况以及图像采集设备差别很大,比实验室条件下采集的图像数据要复杂很多。而现有的人脸识别系统在实验室环境下性能较好,在真实世界环境中的性能却较差。此时可以利用与图像相关联的文字说明中出现的人名对人脸进行标注,但是从图1可以看出图像中可能出现多个人脸, 与图像相关的文字说明中也可能出现多个人名,并且图像中出现的人脸有可能没有人名与其对应,或者文字说明中出现的人名在图像中却没有人脸与其对应。
      本文提出了一个可以很好解决此问题的方法。最终得到一个有人名准确标注的人脸图像数据库,对人脸图像的标注如图2所示。
      对网络新闻数据处理的过程如图3所示。从新闻数据中提取出人脸图像与人名,经处理后,通过一个聚类过程,得到人脸与人名之间的对应关系。
      Tamara L.Berg等人通过基于k-means聚类的方法[5]得到人脸与人名之间的对应关系。然而基于k-means聚类的方法在计算图像相似度时,完全根据图像内容信息提取特征进行相似度计算,忽略了与图像相关联的文本信息;同时k-means聚类需要事先指定聚类个数并且聚类结果受初始聚类中心选择的影响较大。本文对AP聚类算法进行改进,计算图像相似度时,不仅考虑到图像内容信息,还考虑到与图像相关的文本信息。结合图像内容信息与文本信息能够更准确地给出图像相似度,从而使聚类结果更准确。同时AP聚类算法将每个样本点都看作是候选的类代表点,且聚类前不需要指定聚类个数。实验证明处理图文并茂的数据时,协同使用图像与文本信息是很重要的,改进的AP聚类算法在处理此类问题时具有明显的优越性。
      本文第一部分对从网络上获取的新闻数据进行预处理;第二部分通过改进的AP算法对人脸图像聚类,并且引入k近邻模型对聚类进行修剪;第三部分将聚类后的人脸图像用人名标注,并通过合并聚类识别出同一个人的不同名字;第四部分对实验结果进行了分析。
      1新闻数据预处理
      1.1人脸检测与人名提取
      本文采用了Viola提出的积分图像的概念和基于Adaboost训练人脸检测分类器[6-8]的方法对网络新闻图像进行人脸检测。通过命名实体识别从与新闻图像相关的文字说明中提取出人名,得到一个人名词典。从新闻图像中检测出的每一个人脸都与若干个从对应的文字说明中提取出的人名有关。本文的任务是用正确的人名对每个人脸标注。
      1.2人脸图像标准化
      由于人脸图像来源于网络,其姿势、表情及光照变化较大。在对人脸图像进行特征提取之前,需要进行几何归一化与灰度归一化处理。几何归一化是指根据人脸定位结果,将图像中人脸变换到同一位置和同样大小。灰度归一化是指对图像进行光照补偿等处理,光照补偿能够一定程度上克服光照变化的影响。
      1.2.1几何归一化
      人脸部位在图像中的位置、大小、偏移情况不同,会影响人脸特征的提取以及后续的聚类工作,因而要对人脸进行校正,以使不同的人脸图像最后都统一到同样的大小,并使人脸的关键部位在图像中的位置也尽量保持一致。几何校正主要包括:大小校正、平移、旋转和翻转等。在进行人脸校正前,需要进行人脸关键点检测,尤其是人眼的定位。
      根据垂直灰度投影与水平灰度投影,大体可以确定特征点的位置。确定特征点以后就可以进行几何校正。假定人脸图像左、右两眼中心的位置分别为El和Er。进行图像旋转,以使El和Er的连线ElEr保持水平,保证人脸在图像平面内的旋转不变性。使ElEr的中点固定在图像中特定位置,保证人脸在图像平面内的平移不变性。对图像进行缩放变换,使d=ElEr为定长,并使图像大小统一,既保证了人脸大小的一致性,又保证人脸在图像平面内的尺度不变性。经过校准,不仅在一定程度上获得了人脸表示的几何不变性,而且基本上还消除了头发和背景的干扰。
      1.2.2灰度归一化
      由于不同光照条件下获取的人脸图像灰度变化较大,因此要通过预处理进行图像灰度归一化处理,去除一定条件下的光照影响。灰度归一化的方法很多,本文使用的是直方图均衡化。
      1.3人脸特征提取
      在人脸检测与标准化后,得到的人脸图像大小为86×86,将标准化后的图像的灰度特征表示为维度86×86的高维向量。利用主元分析(PCA)找到在最小均方差意义下最能代表原始数据的基向量,对原始数据进行降维。为使图像数据更具可分性,利用线性判别分析(LDA)将图像数据投影到新的子空间中[9-10],在此子空间中有最大类间距离和最小类内距离,即在该子空间中有最好的可分性。
      2基于改进AP算法的聚类
      2.1AP算法
      AP算法[11-12],又称为近邻传播聚类(affinity propagation)算法,其目的是找到样本集中最优的类代表点集合,使所有样本点与其所属类别的类代表点的相似度最大。AP算法将所有样本点都当作候选的类代表点,使得聚类结果不受初始聚类中心选择的影响。
      AP算法在样本点相似度矩阵的基础上进行聚类。本文选用欧式距离作为样本点相似度的度量,任意两点的相似度为两点距离平方的相反数。对点xi和点xk,其相似度为:
      s(i,k)=-||xi-xk||2 (1)
      式中,s(i,k)表示数据点xk与xi的相似程度。
      AP算法为每个数据点k设置偏置参数s(k,k),s(k,k)越大数据点k被选作类代表点的可能性就越大。算法中,假设所有数据点成为类代表点的可能性相同,因此将所有s(k,k)均设置为相同值p。同时p的大小还会影响到最终聚类个数的多少。实验表明,p值越大,聚类个数就越多,通过改变p值可以调整最终的聚类数目。
      AP算法引入了两个参数,R=[r(i,k)]n×n和A=[a(i,k)]n×n。算法的迭代过程就是这两个信息量交替更新的过程,两个信息量代表了不同的竞争目的。r(i,k)从点xi指向点xk,表示xk适合作为xi的类代表点的程度。a(i,k)从点xk指向点xi,表示xi选择xk作为类代表点的合适程度。对于数据点xi,计算所有数据点的r(i,k)与a(i,k)之和,xi的类代表点为xk:arg max(a(i,k)+r(i,k))。
      AP算法的核心步骤为两个信息量的交替更新过程,更新公式如下:
      通过反复迭代,各样本点进行竞争,最终得到类代表点,即聚类中心。最后可以判断聚类中心的个数是否满足要求,若不满足,则调整p的大小,重新聚类,直至聚类个数满足要求为止。
      2.2改进的AP聚类算法
      相似度矩阵S是AP算法中很重要的参数。如果相似度矩阵能够准确地描述样本点之间的相似关系,那么AP算法的聚类结果会很精确。相似度矩阵的准确程度会直接影响到基于相似度矩阵的聚类算法的结果。由于相似度矩阵描述的是任意两个人脸图像之间的相似程度,所以可以利用先验知识调整相似度矩阵。
      本文充分利用图像与文本互补这一特性,对AP聚类算法进行改进。设有两条新闻Nm,Nn,分别包含新闻图像pm,pn。对pm,pn进行人脸检测,得到人脸集合FSm,FSn。从与pm,pn相关的文字说明中提取人名,分别得到人名集合NSm,NSn,集合大小分别为x,y。
      首先将两点距离平方的相反数作为相似度,计算得到相似度矩阵S。然后利用名字集合之间的关联信息更新相似度矩阵S,算法如下:
      设有两幅人脸图像fi,fj分别来自人脸集合FSm,FSn。
      (1)若m与n相等,s(i,j) =-∞。认为fi、fj出现在同一幅图像中,不可能是同一个人。
      (2)若m与n不等,则查看NSm,NSn。
      ①当x==1&&y==1时,若两标签集合中无公共标签,则s(i,j)=-∞,否则s(i,j)=0。
      ②当(x==1&&y>1)||(x>1&&y==1)时,若两标签集合中有公共标签,则令s(i,j)=(1-1/max(x,y)) s(i,j),否则s(i,j)=-∞。
      ③当x>1&&y>1时,若两标签集合中有公共标签且公共标签数为k,则s(i,j)=(1-k/ (m×n))s(i,j),否则s(i,j)=-∞。
      按照上述算法得到新的相似度矩阵后,在新相似度矩阵的基础上进行AP聚类。得到若干人脸集合。
      2.3修剪聚类
      经过改进的AP聚类算法聚类后,会得到若干个聚类。聚类的纯度会影响到后续对聚类中人脸图像进行标注的准确率。为了提高聚类的纯度,需要将各聚类中被错误聚类的图像去除。为此引入k近邻模型,计算聚类中每幅人脸图像属于当前所在聚类的可信程度。对任意样本点x,定义其属于当前聚类的可信度为
      likelihood(x) = ki/k (3)
      式中,k为所考虑的样本点x的近邻个数,ki为k近邻中与样本点x属于同一聚类的样本数。
      对于可信程度小于特定阈值的样本,将其从当前聚类中移除。
      3人脸图像标注
      3.1标注图像
      经聚类与修剪聚类后,人脸图像集合被划分为若干个聚类。此时认为每个聚类中的人脸图像来源于同一个人。需要从与聚类中的人脸图像相关的名字集合中找到正确的人名对人脸图像标注。
      标注方法如下:对任意聚类ck,假设包含n个人脸图像,第i个人脸图像fi来源于新闻Nki。与Nki对应的人名集合为NSki,包含人名数为numki。对?坌name∈NSk1∪NSk2∪…∪NSkn,赋予权值
      3.2合并聚类
      对各聚类标注后,可能存在标注有不同人名的聚类实际上对应同一个人,即存在一人多名问题。例如:President Bush与President George、Defense Donald Rumsfeld 与Do-nald Rumsfeld、Colin Powell与Secretary of State等。通过对各个聚类标注的人名很难识别出同一个人的多个名字,尤其是当对两个聚类标注的人名中没有共现词时,例如Colin Powell与Secretary of State。任意两聚类ci、cj,聚类中心分别为xi、xi,定义两聚类的相似度为:
      simi(ci,cj)=-||xi-xj||2(5)
      对于相似度大于一定阈值的两个聚类,将其合并。此时对两聚类的标注的人名被认为是同一个人的不同名字。
      4实验结果分析
      本文处理的数据是Tamara L. Berg个人主页上提供的数据集。该数据集来源于雅虎新闻网上将近两年的新闻数据,包含28 204条新闻。通过人脸检测,每条新闻的图像部分可以检测出若干个人脸,提取出人脸图像并归一化到相同大小86×86。通过命名实体识别从每条新闻的文字说明部分可以提取出若干人名。最终得到28 204个人脸图像集合与对应的28 204个人名集合。分别包含30 281幅人脸图像与14 108个不同的人名。经过人脸标准化与特征提取后进行聚类与人脸标注。
      经过改进的AP算法聚类后,按照2.3节中所述的k近邻模型对聚类进行修剪。修剪聚类会减少聚类成员的个数,但是会提高聚类的纯度,进而提高后续人脸标注的正确率。表1为用改进的AP聚类算法对30 281幅人脸图像进行标注,用k近邻模型修剪聚类,设置一系列不同的可信度阈值时的实验结果。人脸图像数为进行聚类剪枝后剩余的人脸图像个数,聚类个数与人脸图像对应的人数大致相等。表2给出了Tamara L. Berg等人通过基于k-means聚类的方法对人脸图像标注的结果。
      从表1与表2不难看出,改进的AP聚类算法与k-means聚类算法对相同的数据集进行标注,在聚类剪枝后得到的人脸图像数大致相等,聚类个数大致相等的情况下,前者的错误率要低于后者。这主要是因为改进的AP聚类算法利用了与图像相关的文本信息。与图像相关的文本信息在计算图像相似度时起到了重要的作用。
      为了进一步验证文本信息在聚类与标注过程中的重要性,表3给出了AP聚类算法对含有500幅人脸图像的小数据集进行标注的结果。可以看出改进的AP聚类算法实验结果明显优于AP聚类算法的实验结果。对比实验结果可以验证这样一个事实:来源于网络新闻的人脸图像姿势、表情与光照情况变化较大,此时单从人脸特征判断两图像的相似度,结果不可靠。借助于与人脸图像相关的人名信息,可以使人脸图像的相似度判断结果更加可靠。
      对各聚类标注后,可能存在标注有不同人名的聚类实际上对应同一个人。可以通过计算聚类相似度将对应着同一个人的不同聚类合并,进而识别出同一个人的不同人名。实验结果表明,对于聚类成员个数大于10的310个聚类进行合并,被正确合并的聚类可达84%。并且对于出现频率较高的人,聚类合并都是正确的。合并结果如表4所示。
      5结束语
      本文针对网络新闻图文并茂的特性,对AP聚类算法进行了改进。基于这一改进的AP聚类算法,将来源于网络的新
      闻数据进行处理,最终得到一个带有准确人名标注的人脸图像数据库,同时支持基于内容的人物检索与基于文本的人物检索。
      
      参考文献:
      [1] SHRIVASTAVA R,UPADHYAY K,BHATI R,et al. Comparison between K-Mean and C-Mean Clustering for CBIR[C]// Proceed- ings of the 2010 Second International Conference on Computa- tional Intelligence,Modelling and Simulation. CIMSiM,2010:117- 118.
      [2] ALEMU Y,JONG B K,IKRAM M. Image Retrieval in Multime- dia Databases: A Survey[C]// Proceedings of the 2009 Fifth In- ternational Conference on Intelligent Information Hiding and M- ultimedia Signal Processing. IIH-MSP,2009:681-689.
      [3] MA H,Zhu J K,L Y,et al. Bridging the Semantic Gap Between Image Contents and Tags[J]. IEEE Transactions on Multimedia, 2010,12(5):462-473.
      [4] TURK M,PENTLAND A. Face recognition using eigenfaces[C]//Proceedings of the 1991 IEEE Computer Society Conference onComputer Vision and Pattern Recognition. CVPR,1991:586-591.
      [5] BERG T L,BERG A C,EDWARDS J,et al. Names and Facesin the News[C]// Proceedings of the 2004 IEEE Computer Soci- ety Conference on Computer Vision and Pattern Recognition. C- VPR, 2004:848-854.
      [6] VIOLA P,JONES M. Rapid object detection using a boosted c- ascade of simple features[C]// Proceedings of the 2001 IEEE C- omputer Society Conference on Computer Vision and Pattern R- ecognition. CVPR,2001:511-518.
      [7] YANG M H,KRIEGMAN D,AHUJA N. Detecting faces in im- ages: A Survey[J]. IEEE Transactions on Pattern Analysis andMachine Intelligence,2002,24(1):34-58.
      [8] LIENHART R,MAYDT J. An extended set of Haar-like featu- res for rapid object detection[C]// Proceedings of the 2002 Inter- national Conference on Image Processing. ICIP,2002:900-903.
      [9] ZHAO W,CHELLAPPA R,KRISHNASWAMY A. Discriminantanalysis of principal components for face recognition[C]// Proce- edings of the third IEEE International Conference on Automatic Face and Gesture Recognition. AFGR,1998:336-341.
      [10] BELHUMEUR P,HESPANHA J,KRIEGMAN D. Eigenfaces vs.Fisherfaces:Recognition using class specific linear projection[J].Transactions on Pattern Analysis and Machine Intelligence,19-97,19(7):711-720.
      [11] FREY B,DUECK D. Clustering by passing messages between data points[J]. Science,2007:315(5814):972-976.
      [12] MEZARD M. Where are the exemplars?[J]. Science,2007,315(5814):949-951.

    推荐访问:的人 标注 技术研究 基于改进AP聚类算法的人脸标注技术研究 基于python的聚类算法研究 python聚类算法实例

    • 文档大全
    • 故事大全
    • 优美句子
    • 范文
    • 美文
    • 散文
    • 小说文章