基于暗通道先验的雾天车载图像增强算法研究
时间：2022-12-04 12:40:03 来源：雅意学习网 本文已影响 人 
钱宇清，左付山，叶健，王海龙
（210037 江苏省 南京市 南京林业大学 汽车与交通工程学院）
车载视觉系统是自动驾驶车辆获取道路信息的重要途径之一，系统以摄像头作为传感器输入，对车辆周围环境信息做精确感知，目的在于为高级别自动驾驶提供丰富的信息。
车载视觉系统要求清晰准确地提取图像特征（车辆、行人及车道线检测与识别），但是在雾天条件下场景点辐射的光能深受大气粒子的散射作用影响，从而导致系统性能大幅度下降甚至无法发挥作用，影响系统效用的发挥。为了使车载视觉系统具备在恶劣天气条件下工作的鲁棒性和可靠性，有必要对雾天降质图像进行去雾处理。
目前主流的去雾算法分为2 类：第1 类是基于图像增强[1]的算法。该类算法通过小波变换[2]、同态滤波[3]、单尺度Retinex（SSR）以及多尺度Retinex（MSR）[4]理论，通过同时实现动态范围压缩、颜色恒常和颜色/亮度转换等来获得清晰图像。增强算法没有利用大气物理模型对雾霾图像进行还原，仅利用调节锐化率等方法来优化图像。其优势是运算量少，处理速度快，对于薄雾图像处理的效率高；
劣势在于仅突出图像本身的信息，无法还原更多的图像特征；
第2 类是基于物理模型进行图像修复的去雾算法。该类算法基于雾霾天气下图像的物理成像模型，根据图像参数以及一个逆向的求解模型来还原雾霾图像的轮廓与细节。其中最经典的是HE[5]等提出的暗通道先验理论，内容是在绝大多数浅色及明亮区域中的RGB 颜色通道存在一些亮度极低的像素。其能根据大气物理模型估算雾气浓度和大气透射率来还原雾霾图像。该方法虽然在大多数场景下适用，但对浅色及明亮区域的处理易失真且时效性较差。
1.1 雾霾图像成像模型
在软件视觉中，一种雾霾天气成像模型[4]得到普遍应用：
式中：I（x）——车载视觉系统获得的雾霾图像；
J（x）——场景反射率；
A——大气光的强度；
t（x）——透射率。对图像去雾的原理就是从I（x）中恢复J（x），得到复原图像。
1.2 暗通道先验去雾原理
暗通道原理[5]是一种统计规律：基于无雾清晰图像，在众多浅色或明亮区域，在R、G、B 三个颜色通道中一定会有一个亮度很低并趋于0，即：
式中：Jc——J的一个颜色通道；
Ω（x）——以x为中心的小图像块；
Jdark——暗通道图像。
假设大气光强度A已知，局部区域Ω（x）内透射率恒定不变，记为t（x）。首先，对式（1）两边同时除以Ac，c∈{r，g，b}为某一颜色通道，然后对两边同时作变换，根据式(2)，得到
采用软抠图技术或者引导滤波[6]得到优化透射率图t（x）。
根据式（3），利用已知的t（x），A和I（x）计算J（x），即
为最大程度消除还原后的噪声，t0设为0.1。其中大气光强度值A的估计方法为：取Jdark中亮度最大的0.1% 像素，这些在I（x）图像中对应像素的最大值作为大气光强度A。图1 为暗通道去雾算法的执行流程。
图1 基础算法步骤体现Fig.1 Basic algorithm steps
1.3 原始暗通道去雾算法的弊端
由暗通道算法的运行原理，天空或者以白色为主体的区域并不满足先验还原的假设条件。但文献[5]认为大气光强度A 与天空颜色相似，即
传统先验算法认为与天空距离为无穷大，所以设定大气透射率为趋于0，但是实际车载视觉系统采集的图像中环境背景更加复杂。图2 展示了暗通道先验算法处理的雾霾图像。
图2 雾霾图像和暗通道先验去雾结果Fig.2 Haze image and dark channel prior defogging results
暗通道算法相对传统增强算法的优势在于可以还原雾霾图像笼罩中的交通标识以及行人车辆信息，但天空区域出现色彩失真且图像整体偏暗的现象，不利于后续对于车载视觉系统对图像特征及信息的提取。可以用式（6）解释这一现象。
假设（A-I（x））∈（0，20），t（x）=0.1，则J（x）在区间（A-200，A）内变化，与图片中含有的天空（明亮或浅色）区域连通较大的面积相违背，所以会在去雾图像结果中出现图像噪声和Halo 现象[7]。
2.1 算法改进分析
本文的算法框架图如图3 所示。
图3 改进算法流程图Fig.3 Flow chart of improved algorithm
针对原始暗通道先验算法处理后，一方面其算法整体处理偏灰暗，并且不对区域进行分割识别，而只是进行统一性的还原，这样在处理普通的雾霾图像时获得的效果尚可，但是需要处理含有天空等浅色和亮度过高区域的图片时，便容易出现失真现象以及图片畸变。为最大程度避免此弊端，有必要根据亮度阈值判断对图像的区域进行合理划分，以此来保证对不同区域的处理具有合理性和选择性，而不会一次性处理整幅图像，然后再进行直方图均衡化增强，以便于后续道路信息的读取和处理。
2.2 对于天空区域的识别及透射率修正
根据文献[8]的论述，含有天空部分的图像一般都有较为平滑且灰度值很高的特征，改进思路则是取出其较大的连载区域标记为天空区域，与其他区域分开处理。首先，要实现分割天空与非天空区域的步骤如下：
（1）对图像I消除图像在数字化过程中产生或者混入的噪声，计算其梯度图G；
（2）对I和G二值化：
式中：τ——亮度；
ε——梯度阈值。
（3）将Ibinary（x）与Gbinary（x）合并运算，得到天空待分割图C（x）；
（4）对天空分割图像C（x）进行边缘检测，检测出占据整体雾霾图像比例大于5%的浅色明亮区域标记为天空区域，剩余部分则为非天空部分，得到天空与非天空的二值图像I（x）。
在步骤（2）中，梯度阈值ε 的确定方法：首先统计梯度图G的直方图 Hist（G），然后取概率最大值对应组的最大梯度值TG，ε为
在式（8）中，a目的是放宽阈值范围；
b目的是规定阈值的上限；
亮度阈值τ应大于图像亮度均值 mean（I），即：
其中，τ为处理图像天空区域要判断的亮度阈值，即超过这个值的范围便被系统识别为天空区域处理，并修正自然光的透射率。
再对识别图像中天空区域所具有的透射率进行修正，具体原理则是在整幅雾霾图像中使用天空部分的灰度值最大的千分之一像素，计算其平均值作为大气光强度的值。具体公式为：
2.3 基于MATLAB 的图像直方图均衡化
直方图均衡化处理的基本原理是把图像中相对灰度值较高的部分按规律分配到灰度值较低的像素中，以实现灰度值的均匀分布来提高雾霾图像的对比度，展现更多的图像细节。基于这种方法，使灰度值更加均匀地分布在图像中，以使局部对比度得到增强而不影响图像整体的对比度，从而显示出更多的雾霾图像细节[8]。
利用变化函数T将原雾霾图像直方图进行均衡化，记为
在式（11）中，旨在将原灰度为rk的像素通过累积分布函数映射到灰度级为sk的对应像素的新图像中。而在平台仿真中，直方图均衡化增强函数的调用格式为histeq（）。其表达式为
图4 为直方图均衡化处理前后的雾霾图像。
图4 直方图均衡化增强前后的雾霾图像Fig.4 Haze image before and after histogram equalization enhancement
根据文献[9]中的结论，雾霾图像的直方图分布比较集中，一般分布在图像左侧或右侧的一块很小的区域里，如图5 所示。其中，图5（a）是含雾图像，图5（b）、图5（c）、图5（d）是基于R、G、B 分量绘制的直方图分布（横坐标为灰度级，纵坐标为灰度值像素个数）。这种集中分布的规律也表明雾霾图像一般具有整体偏灰暗或者明亮且对比度较低的特征。
图5 雾霾图像及其RGB 分布示例Fig.5 Haze image and its RGB distribution example
基于直方图均衡化的去雾方法快速高效，在图5 的直方图分布对比中，直方图均衡化之后的图像灰度分布更加分散和均匀、灰度值为rk的像素的数量nk的个数大幅减少，提高了图像的对比度，图像细节得到增强，达到了图像去噪去雾增强的目的[10]。
3.1 实验环境及测试
实验利用不同去雾算法对3 组车载视觉图像进行去雾处理，包括：暗通道先验源代码、联合暗通道先验与双边滤波算法、tara 算法、单尺度Retinex 算法以及改进算法。参见图6—图8。
图6 第1 组去雾效果对比Fig.6 Comparison of defogging effect of the first group
图7 第2 组去雾效果对比Fig.7 Comparison of defogging effect of the second group
图8 第3 组去雾效果对比Fig.8 Comparison of defogging effect of the third group
3.2 对去雾效果的量化评价
3.2.1 基于图像信息熵的评价
信息熵通过算法判断雾霾图像与去雾霾后的图像中信息量的大小来评定其去雾效果的好坏，把雾霾图像作为一个不确定性的信息主要来源[10]，公式为：
式中：集合{bi}——所有像素点的总个数；
P（bi）——每个像素点所占的概率。
图像信息熵越大，图像可提取的信息量越大，信息读取效率也越高。
3.2.2 基于图像平均方差与梯度的评价
平均方差用图像的测量值减去图像整体的灰度值平均值然后再开平方，有效反映算法所估算的值与实际值的差异，是一种差异化的度量标准[11]，公式为：
式中：M×N——算法读取图像的长宽比；
fij——观测设备所摄取的含有霾的图像的总像素值。
平均梯度用于评价雾霾图像处理之后的相对准确程度，定义为：
式中：M，N——图像的长和宽；
fi,j——图像的灰度值。
图像平均方差、梯度越大，图像信息读取的效率和准确度越高，结构特征越明显。
3.2.3 基于客观评价指标的量化对比
3 组图像的评价效果对比如表1—表3 所示。
表1 第1 组雾霾图像客观评价效果对比Tab.1 Comparison of objective evaluation results of the first group
表2 第2 组雾霾图像客观评价效果对比Tab.2 Comparison of objective evaluation results of the second group
表3 第3 组雾霾图像客观评价效果对比Tab.3 Comparison of objective evaluation results of the third group
综上，在信息熵方面，除第2 组外都优于其他算法，表明改进后算法在去雾增强后有更高的信息量和更清晰的图像数据源。在平均方差与梯度方面，3 组都获得了最大值，表明大多数情况下改进后算法的图像细节恢复效果更加显著，获得更明显的结构特征。
通过对在暗通道先验算法的基础上进行天空区域的亮度阈值判断并对其进行透射率修正，然后结合直方图均衡化对去雾还原图像进行增强，在确保明亮及浅色区域不出现失真及畸变现象的同时，有效提高了雾霾图像的清晰度并一定程度恢复了图像原有的色彩。研究结果表明：改进算法处理失真率更低、图像信息熵更大，图像结构特征和细节更加准确。
猜你喜欢 均衡化先验直方图 康德定言命令的演绎是一种先验演绎吗?——论纯粹知性与实践理性在先天原则证成方面之异同社会科学战线(2022年1期)2022-02-16基于暗通道先验的单幅图像去雾算法研究与实现客联(2021年9期)2021-11-07先验想象力在范畴先验演绎中的定位研究海外文摘·艺术(2020年22期)2020-11-18用直方图控制画面影调影像视觉(2018年12期)2018-11-29例析频率分布直方图中学生数理化·高一版(2017年2期)2017-04-25中考频数分布直方图题型展示初中生世界·八年级(2017年3期)2017-03-24基础教育均衡化的实施对于现阶段教育发展的重要性中小企业管理与科技·上旬刊(2016年12期)2017-01-05先验的风岁月(2016年5期)2016-08-13ＥＤＩＵＳ ５．１音量均衡化数码影像时代(2009年8期)2009-09-07
