一种基于眨眼频率的视觉舒适度评价方法
时间：2023-06-04 22:50:08 来源：雅意学习网 本文已影响 人 
张怡然，林丽媛，刘冠军
(1.天津科技大学电子信息与自动化学院，天津 300222；
2.军事科学院系统工程研究院卫勤保障技术研究所，天津 300161)
随着高速移动网络的发展和移动端显示设备的普及，人们的生活已与各种类型的屏幕息息相关.特别是各类短视频，通过几秒到几分钟不等的视频推送，占据了人们的碎片化时间，直接延长了人们每日观看屏幕的时间.《2020中国网络视听发展研究报告》[1]显示，截至 2020年 6月，我国网民规模为9.40亿，其中短视频用户规模达8.18亿，占网民整体的 87.0%，日均观看时长为 110min.长时间地观看屏幕会增加视觉负荷，导致视疲劳的出现[2]，对人眼感知和视觉健康产生负面影响.视觉舒适度是衡量视觉感知舒适程度的重要指标，用来度量人眼视物时的主观舒适感受.视觉舒适度问题贯穿在整个信息系统中，无论是图像/视频的处理、通信和显示，还是标准的制定，都需要一套科学的视觉舒适度评价理论，或用来说明所生成的图像/视频的效果，或用来说明处理、传输技术对图像/视频的损伤程度，或用来说明显示技术的正确性，或用来评测显示产品的优劣，以便能规范企业的产品生产.因此，研究一种能更加客观地度量视觉舒适度的评价方法十分重要，这也是本文的研究重点.
目前对于视觉舒适度的研究主要有两大类.第一类是通过调整显示端内容或外部环境来评价、优化视觉舒适度.Wang等[3]利用反向传播BP神经网络，通过显示器亮度和色温控制系统结合环境光传感器，实现了对视觉舒适度的预测.Jiang等[4]通过计算颜色显著性、纹理显著性、空间紧凑性、深度显著性，提出基于视觉舒适度的立体三维图像显著性计算模型，得出了高/低舒适度三维图像的不同显著性计算规则.Shi等[5]使用机器学习算法构建日光预测模型，通过计算日光照度、日光炫光指数、日光炫光概率和眼睛垂直照度，并结合气候与时间信息，建立室内视觉舒适度预测模型.第二类是在视觉生理层面上对视觉舒适度进行评价.Hu等[6]在测试模式反转视觉诱发电位的同时记录了受试者的视觉舒适度，利用模糊熵分析主观感受和客观生理参数的相关性.Iatsun等[7]调查分析了眼球运动、眨眼、瞳孔大小变化强度和大脑活动之间的关系，最终得到了一种基于视频特征和视觉帧前状态的模型.Abromavičius 等[8]采集了28名受试者的视线、瞳孔大小、脑电图数据，并分析了焦点数量、瞳孔大小变化、视差水平和额叶脑电图活动等特征，用来建立视觉舒适度预测模型.
以上两类研究模型在评价方法以及应用场景上都存在局限性.一方面，基于显示内容或外部环境的视觉舒适度的评价方法重点研究影响视觉舒适感知的显示条件，忽略了影响视觉舒适度评价的最直接、有效的眼部生理信息.另一方面，考虑生理层面的视觉舒适度评价方法需要依靠专业设备采集信息，还依赖多种生理信号分析，提高了评价的成本，难以迁移到实际应用中去.除此之外，研究大都面向立体视频、虚拟现实视频(VR视频)，而不是人们日常长时间接触的视频类型，在应用领域上也存在局限性.因此，本文结合当前流行的短视频模式，通过主客观实验，研究人眼生理反应与视觉舒适度的相关性，提出了一种基于眨眼频率的视觉舒适度评价方法.
1.1 实验设备及素材
实验使用 53.15cm×29.90cm(24英寸)的 Acer GN246HL型显示器作为显示端，使用ZD480R型红外 CMOS摄像头作为采集设备，自主编写了眼球生理信息采集系统，可实现对瞳孔面积、瞳孔面积波动情况、眨眼时间间隔、眨眼耗时、眨眼次数的统计和计算[9].
挑选了9段风格迥异的视频素材，视频素材信息见表1.视频素材的选择避开了惊悚、恐怖等对受试者的观看感受影响较大的视频片段，以及默片等较为特殊的视频素材，减少视频素材内容对视觉舒适度的影响.所有视频播放窗口尺寸统一为 14.61cm×8.18cm(6.6英寸).
表1 视频素材信息Tab.1 Video material information
1.2 实验相关标准和受试者信息
1.2.1 视觉舒适度评价标准
实验采用目前主流的主观评价方法[10]，建立 5级视觉舒适度评价标准，以此对当前视觉状态进行评价并量化评分，视觉舒适度评价等级与规则见表2.
表2 视觉舒适度评价等级与规则Tab.2 Rating and rules of visual comfort evaluation
舒适度评价分为 5级.等级越低，量化评分越高，也就是人眼疲劳程度越低，舒适度越高.最高分为5.0分，最低分为0分，分度为0.1.
1.2.2 受试者信息
为确保实验的准确性和有效性，招募并筛选了年龄区间为19～35岁的20名受试者，其中男性7人，女性 13人，10人戴眼镜，9人曾有过评价类实验经历.使用穿孔卡片法[11]测定所有受试者的主视眼，受试者均无眼部疾病，裸眼视力正常或矫正视力正常.
1.3 实验过程
实验时间控制在上午9时到下午5时.实验时，室内保持自然光照(不存在受试者感到刺眼或者过暗的情况)，人眼到显示器的距离保持在(48±2)cm，以消除测试环境差异产生的影响.在正式实验前，向受试者介绍实验内容和规则(包括详细的实验流程以及舒适度评价标准)，并进行 2min的预实验以便受试者能够提前适应实验流程和环境.实验过程中，受试者将下颌放置在信息采集平台上，调节采集摄像头位置，如图1所示.实验通过眼球生理信息采集系统采集眨眼频率、瞳孔面积变化的生理信息.在切换下一视频前，安排受试者休息 3min，保证眼睛充分休息的同时完成视觉舒适度主观的评分(评分规则详见表2).通过实验期望能建立眼球生理信息与视觉舒适度的模型.
图1 采集方法示意图及真实场景图Fig.1 Schematic diagram of collection method and real scene diagram
2.1 数据定义
由于瞳孔面积受个体生理因素的影响，所以在进行分析前需对瞳孔面积变化情况进行归一化处理.将瞳孔面积变化率定义为：在观看一段视频过程中，瞳孔面积与观看完成后瞳孔面积的平均值的最大差值与瞳孔面积的平均值的比值.瞳孔面积变化率越大表明瞳孔面积变化情况越剧烈.该指标可以有效避免由于采集位置的差异引起的瞳孔面积的较大差别，同时消除了由受试者个体差异产生的影响.瞳孔面积的平均值及瞳孔面积变化率的计算公式见式(1)与式(2).
式中：R为瞳孔面积变化率.
2.2 数据分析
2.2.1 数据整理
20位受试者观看 9个视频片段，共生成 180组数据，采用 SPSS软件进行数据分析，相关描述统计见表3.
表3 描述统计Tab.3 Descriptive statistics
实验分别探究眨眼频率、瞳孔面积变化率与主观舒适度的关系，从而建立眼球生理信息与舒适度关系的数学模型，达到评价主观视觉舒适度的目的.
采用皮尔逊相关系数(rP)及显著性差异分析(双尾)，对瞳孔面积变化率、眨眼频率、舒适度评分进行分析.定义|rP|≥0.7为高度相关性，0.5≤|rP|＜0.7为中度相关性，0.3≤|rP|＜0.5为低度相关性，|rP|＜0.3为无相关性；
P＞0.05为差异性不显著，0.01＜P≤0.05为差异性显著，P≤0.01为差异性极显著.
2.2.2 瞳孔面积变化率与舒适度评分关系
实验采集得到的瞳孔面积变化率、舒适度评分数据如图2所示，图2(a)是舒适度评分与瞳孔面积变化率散点图，图2(b)是不同视频素材瞳孔面积变化率的箱式图.
图2(a)中右侧孤立的多点与图2(b)中的极端异常值均出自同一受试者 M-4，由于该受试者在实验过程中未按照预实验流程操作，导致实验结果出现极大误差，因此在分析瞳孔面积变化率与舒适度评分关系时，删除受试者M-4的数据.
图2 瞳孔面积变化率与舒适度评分Fig.2 Change rate of pupil area and comfort score
同一受试者观看不同视频素材时瞳孔面积变化率与舒适度评分间的相关性分析结果见表4，大部分数据差异性均不显著.具体为15人的数据显示低度/无相关性，占比78.9%；
仅4人的数据表现了中度/高度相关性，但存在正相关、负相关并存的情况.
表4 同一受试者瞳孔面积变化率与舒适度评分相关性分析Tab.4 Correlation analysis between the change rate of pupil area and comfort score for the same subject
不同受试者观看同一视频素材时，瞳孔面积变化率与舒适度评分间的相关性分析结果见表5.分析表5可知，除F、B视频外，大部分视频数据均显示无相关性，占比77.8%，且均差异性不显著；
视频编号为F的数据显示差异性显著的中度相关、视频编号为 B的数据显示差异性不显著的低度相关，且两种情况下的相关性相反.
表5 同一视频下瞳孔面积变化率与舒适度评分相关性分析Tab.5 Correlation analysis between the change rate of pupil area and comfort score for the same video
由表4、表5可知，大部分数据并未体现瞳孔面积变化率与视觉舒适度之间的相关性，即二者不具有线性相关性，因此瞳孔面积变化率不能作为视觉舒适度的评价指标.
2.2.3 眨眼频率与舒适度评分关系
实验采集得到的眨眼频率、舒适度评分数据如图3所示.
图3 眨眼频率与舒适度评分Fig.3 Blink frequency and comfort score
图3(a)是舒适度评分与眨眼频率散点图，图3(b)是不同视频素材的眨眼频率的箱式图.图3(a)中虽然有偏离较多的点，但并未出现极端异常点，故不对眨眼频率数据进行删减.
使用与 2.2.1节中相同的方法进行相关性分析.同一受试者观看不同视频素材时眨眼频率与舒适度评分间的相关性分析结果见表6.
表6 同一受试者眨眼频率与舒适度评分相关性分析Tab.6 Correlation analysis between the blink frequency and comfort score for the same subject
有 17名受试者的眨眼频率与视觉舒适度呈现中度/高度相关性，占比85.0%；
仅有3人数据表现无相关性，且差异性均不显著.
不同受试者观看同一视频素材时，眨眼频率与舒适度评分间的相关性分析结果见表7.
表7 同一视频下眨眼频率与舒适度评分相关性分析Tab.7 Correlation analysis between the blink frequency and comfort score for the same video
对于不同的视频素材，9个视频素材数据均表明眨眼频率与舒适度评分存在相关性，其中差异性极显著且高度相关的占比为77.8%.
通过上述分析可以看出，眨眼频率与主观舒适度存在相关性，且从受试者个体和视频素材都能证明眨眼频率与舒适度评分数据具有显著性差异.即不论受试者个体以及视频素材是否存在差异，眨眼频率均能用于衡量视觉舒适度.
为进一步探究舒适度评分和眨眼频率的定量关系，在控制实验环境的条件下(见 1.3节)，使用线性回归的方法得到舒适度评分与眨眼频率的一次函数表达式.
式中：Vt为舒适度主观评分；
f为眨眼频率，次/min.
采用残差直方图验证本模型的正态性，所得回归标准化残差直方图和正态P-P图如图4所示.标准化残差直方图呈正态分布，且正态P-P图的散点数据在第一象限沿对角线方向分布，表明舒适度评分与眨眼频率相关性高，模型服从正态分布.
图4 回归标准化残差直方图和正态P-P图Fig.4 Regression normalized residual histogram and normal P-P plot
2.2.4 结果验证
从20位受试者中随机选择 4位受试者，进行验证测试，采集眨眼频率，记录舒适度主观评分Vt，根据式(3)计算模型预测得分，并计算误差，误差计算公式为
式中：e为预测误差，Vf为模型预测的舒适度评分.
测试素材选用 600～900s的三维游戏画面场景，验证测试的结果见表8.由表8的结果可以计算出平均误差为 2.07%，模型平均准确率为 97.9%.实验结果表明，该模型可对观看视频时的视觉舒适度进行有效评价.
表8 验证实验的结果Tab.8 Results of confirmatory experiments
本文通过采集20名受试者在观看9段不同内容短视频时的眼球生理信息以及相应的主观评价分数，探究瞳孔面积变化率、眨眼频率与视觉舒适度主观评价的关系，提出一种基于眨眼频率的视觉舒适度评价方法，建立一个眨眼频率与视觉舒适度的线性关系模型.该评价方法将人眼生理信息作为评价的依据，为视觉舒适度评价提供了新的实验方法和评估指标，具有重要的现实意义.
眨眼频率既可通过计算机视觉方法获取，又可借助生物电信号获得，多种获取手段有利于使用本文方法对多媒体用户的视觉舒适度情况进行动态评估，有利于保护公众的用眼健康.人眼生理信息复杂多样，未来将在此基础上进一步研究融合多种有效的生理信息协同评价视觉舒适度.
猜你喜欢 变化率瞳孔舒适度 纤维砂场地的性能及舒适度影响研究建材发展导向(2022年3期)2022-04-19基于电流变化率的交流滤波器失谐元件在线辨识方法湖南电力(2021年4期)2021-11-05基于用户内衣穿着舒适度的弹性需求探讨纺织科学研究(2021年9期)2021-10-14农村公共厕所如厕舒适度调查分析新农业(2020年18期)2021-01-07改善地铁列车运行舒适度方案探讨铁道通信信号(2020年1期)2020-09-21例谈中考题中的变化率问题初中生世界·九年级(2020年9期)2020-09-21瞳孔阅读与作文（初中版）(2017年6期)2017-07-05相位差变化率的快速高精度测量及精度分析火力与指挥控制(2016年8期)2016-09-21瞳孔大，决策力差恋爱婚姻家庭·养生版(2015年2期)2015-05-14是巧合还是规律？中学生理科应试(2014年12期)2015-01-15
