环境感知的立体树木图像融合

程银婷，杨丽锦，叶 阳

(浙江工业大学 计算机科学与技术学院，杭州 310023)

E-mail：yeyang80@zjut.edu.cn

3D影片让观影者有临其境的体验，从而受到了越来越多的欢迎.影片中的很多场景可以通过图像融合技术生成，因此，对图像融合技术的研究变得越来越重要.国内外现在已经有很多对2D图像融合技术的研究，这些研究也已经比较成熟.但是对于立体图像融合的研究还比较少.3D图像与2D图像不同，它有两幅存在视差的图像构成，这两幅图像通常被称为左图与右图.因此，相对于2D图像融合，3D图像融合的过程更复杂.

一幅图像通常被分为图像前景和图像背景，一般把人们感兴趣的区域，比如图像中的树木、人等称为图像的前景，图像前景之外的区域称之为图像的背景.图像融合技术就是把从源图像中获取到的图像前景自然地粘贴到目标图像背景中.同时，为了获得好的融合结果，在融合时通常会对图像前景的颜色、亮度、纹理等参数进行调整.目前对于3D图像融合的研究才刚刚开始，但是，因为2D图像融合与3D图像融合有相似之处，所以，2D图像融合技术的发展也可以有效地促进3D融合技术的研究.现在对于2D图像融合技术的研究主要分为两大类：基于透明度的图像融合以及基于梯度域的图像融合.

基于透明度的融合方法通过线性混合方程获得前景及其透明度，然后把前景和目标背景图像进行线性组合生成融合图像.前景的精确抠图以及透明度值(alpha)的计算是基于透明度融合的关键.为了获取精确的抠图，Chuang等人[1]提出了贝叶斯模型，该模型通过构建给定邻域的前景以及背景的概率分布来获取图像的抠图.该方法通过最大后验技术(maximum a posteriori，MAP)解决贝叶斯框架中融合参数的计算问题.当源图像的背景复杂时，传统的基于透明度的方法需要进行大量的用户交互，为了对该问题进行优化，Zhang等人[2]构建了一个残差卷积网格网络(residual convolutional grid network)利用图像的高级语义和上下文信息获取精确抠图.

人类视觉系统对像素值变化剧烈的区域很敏感，如物体的边界，梯度域融合方法就是从该角度出发，通过模仿融合区域像素的变化，生成融合效果自然的图像.Pérez等人[3]提出的泊松融合方法，就是一种经典的基于梯度域融合的方法.该方法主要的目的就是通过重构融合区域的像素值，获得融合边界变化平缓的融合结果.但是，该方法无法解决目标背景颜色对融合后图像前景颜色产生影响的问题.当使用泊松融合方法进行图像融合时，如果源图像的背景颜色与目标图像的背景颜色相差很大或者目标图像的背景过于复杂，目标图像的颜色往往会过多地渗透到源图像中，出现染色问题.为了对染色问题进行改进，Zhang 等人[4]的方法提出了一种新颖的泊松混合损失，通过优化该损失以及深度网络计算的风格和内容损失，指导网络生成颜色变化自然的融合结果.Henz等人[5]提出了一种新的方法来实现图像融合，该方法使用插值参数与透明度域融合以及泊松融合相结合的方式，控制融合结果中前景对象的颜色保留程度，然而，该方法的参数需要用户手动进行调节.虽然通过上述方法，泊松融合的染色问题得到了改进有，但是，该方法仍存在局限，其涉及到的线性方程规模较大，需要花费大量的时间求解.为了实现实时的图像融合，Farbman等人[6]基于均值坐标(Mean-Value Coordinate，MVC)提出了一种方法来实现图像融合.它是一种近似于泊松克隆的即时图像融合方法，为了避免对大规模的线性方程求解，基于均值坐标构造调和插值项来计算图像融合的结果.然而，该方法的约束项很少，所以，融合的结果可能会出现色彩不平衡的现象.Fang等人[7]为了解决预对准图像中出现的所有颜色不一致问题，提出了一种颜色混合算法.该方法的首先通过最佳拼缝上像素的颜色差异，使用加权均值坐标插值算法获得目标图像中所有像素点颜色的精确变化，然后，将该变化反馈到目标图像中.该方法有效地解决了颜色不一致问题.Yuan等人[8]综合色差、梯度差等因素提出了一种基于超像素的能量函数，在高相似的连续区域寻找最佳拼缝，最后利用基于超像素的颜色混合算法对拼缝进行消除，实现了颜色的自然过度.

近年来开始有研究人员对3D图像融合进行研究.3D图像与2D图像不同，它的图像中包含深度信息，该深度信息可以通过左图与右图之间的视差被人眼感知到.因此，视差这一因素对立体图像融合的影响很大.Stereo Pasting[9]通过对边缘感知逐生成融合区域的视差图，然后将该视差图与目标背景视差图融合，保证融合后图像的深度一致性.同时该方法对物体使用能量项优化方式进行了一定程度的变形，使得前景图像与背景的融合更逼真.但是Stereo Pasting属于半自动化的分离前景的方法，这类方法需要大量的手动交互，所以仍需要进行改进.Fan等人[10]提出的方法为了使融合边界过度自然，通过引入视差约束来保证融合结果的视差一致性，然而，该方法只保证了图像视差的一致性，没有考虑图像融合过程中发生的颜色变化，所以，生成的融合结果视觉效果较差.

总体来看，基于透明度域的融合方法对源图像的颜色及目标图像的颜色要求很高，只有在源图像的背景颜色与目标背景的颜色相近时，才能获得好的融合结果.该类方法无法根据目标背景颜色对融合区域的颜色、亮度进行调整，所以，当颜色相差很大时，融合的结果从全局上看并不自然.基于梯度域的融合方法并不要求获取精确的前景对象，但这类方法受目标图像颜色影响大，会出现图像失色的问题.现有的立体图像融合方法主要使用网格能量变形对融合对象的形状以及大小进行调整，并且主要是实现3D图像之间的融合，仅有很少的方法可以实现将2D融合图像到3D场景，此外，这些方法在进行融合时也并未考虑立体图像融合中出现的物体遮挡问题.虽然，现在也出现了很多使用深度学习实现的图像融合方法，但是，这些方法需要花费大量的时间训练网络模型.

树木在立体场景中很常见，它在立体场景中显示的效果会对立体场景的沉浸感产生很大的影响.相较于场景中的其它对象比如人、车，树木对象的结构比较复杂，因为树叶与树叶之间，树枝与树枝之间可能存在孔隙.这些孔隙中夹杂着图像背景的信息，因此，用户仅通过简单的交互很难把树木对象分离出来.此外，现有方法实现立体树木图像融合时，生成的树木图像在三维场景中呈“纸片化”，不具有立体感，视觉效果差.因此，为了提升3D树木图像立体显示效果，本文提出了一种环境感知的立体树木图像融合方法.该方法在融合过程中通过对环境的颜色、深度、遮挡等信息进行感知，对融合的树木对象进行调整，从而可以生成较好的融合结果.

本文提出了环境感知的立体树木融合方法来实现2D树木图像与3D场景的自然融合.本方法将透明度抠图法[11]与K-Means算法[12]结合，对树木图像夹杂的背景信息进行过滤，实现对树木对象的精确提取；
使用深度模板的深度信息构建方法构建多层次树木结构来避免树木对象的“纸片化”；
使用基于融合点的深度一致性视差调整策略对树木的深度进行调整，来保证融合后树木对象的深度与目标场景深度的一致；
使用基于目标场景的自适应颜色调整策略调整树木对象的亮度和颜色，来保证树木对象可以与目标场景实现自然地融合，同时避免出现树木对象失色问题.同时，本文方法在进行图像融合时，对出现的物体遮挡问题进行了处理，从而保证了融合后的结果中不会出现深度感知异常，图1为方法的流程图.

图1 环境感知立体树木图像融合方法流程Fig.1 Flowchart of stereoscopic tree images blending based on environment perception

2.1 树木对象的抠取

树木的结构复杂，抠取的树木对象中很容易夹杂源图像的背景信息，因此，要获取精确的树木抠图，需要对抠取的树木对象进行处理，去除这些夹杂的背景信息.本文使用采样抠图法对树木对象进行粗略的抠取，使用K-Means方法对抠取的树木对象进行进一步的过滤.

首先，使用采样抠图法对源图像及其对应的三色图进行处理，粗略地抠出树木对象，但仅使用采样抠图法抠取的树木对象会夹杂很多背景成分，因此，为了获取精确的抠图，本文采用K-Means聚类算法对使用采样抠图方法获得的树木对象进行过滤，优化前后的对比如图2所示.图2(a)是仅使用采样抠图法获取的粗略的树木抠取结果，图2(b)是使用K-Means算法优化后的树木的抠取结果，图2(c)是仅使用采样抠图法获取的树木透明度，图2(d)是经过优化后的树木透明度.

图2 透明度提取效果图Fig.2 Rendering of alpha extract

2.2 视差信息构建

首先，本文使用深度梯度假设法[13]来构建树木图像的深度信息.Lang等人[14]表明，人们的深度感知很容易受到视差梯度的影响，因此，改变感知的深度结构可以通过调整视差梯度来实现.使用模板假设方法生成的视差图，只给出了2D树木对象的相对深度，仅能表明单个树木对象的绝对视差.所以融合图像时，需要依据目标图像的深度信息调整树木的深度信息，否则融合后的立体图像显示结果将会因前后景深度差异过大出现深度不一致的问题.

为了实现了实时的深度一致性融合.本文基于MVC方法实现图像融合.加权的均值坐标融合解法类似于插值问题.对于一个闭合的多边形区域 (逆时针方向)，x为多边形内部的一个点，它可以由公式(1)表示：

(1)

(2)

假定定义在边界的函数f已经存在了，则：

(3)

即，此时可以利用边界平滑插值计算出多边形内部的点的值，寻找未知函数f就是泊松融合的求解目标.通过获取函数f使融合区域边界的变化最小，也就是目标融合区域的梯度场要尽可能与源图像o的梯度场接近，因此，可以把泊松融合进一步表示成：

(4)

(5)

平滑膜被计算出后，泊松融合结果可以表示为f=o+r.

基于MVC的方法在进行图像融合时，要求融合区域的边界要和目标图像保持一致，而本文方法仅需要保证树木根部和目标图像一致，所以，在进行融合时，修改了该方法中提出的加权策略[15].本文采用MVC定义设置融合区域的顶点，把深度不一致边界的顶点的值定为0.首先找到树木对象融合到目标图像中的位置点，该点在树根的底部.本文只将图3中的根部的小圆圈标记的边界作为深度一致性边界，其余部分都不要求深度一致性.

图3 改进MVC示意图

对于树木图像，MVC的加权均值由公式(6)定义：

(6)

其中：

(7)

本文方法避免了在深度不一致性区域进行插值，保证了树木图像与目标图像融合后的深度一致性，所以相较于传统的MVC方法，本文方法生成的视差图更令人满意.

树木对象在图像中的成像大小与视差相关.为了更符合人类的视觉感知，本文与双目视觉成像原理[16]保持一致，并通过平行摄像机模型来探究物体成像的大小与视差之间的几何关系，图4为几何关系图.

图4 物体成像尺寸和视差的几何关系Fig.4 Geometric relationship between object imaging size and parallax

如图4(a)所示，将物体在左右视图中的横坐标分别表示为xL和xR，则图像的视差可以表示为d=xL-xR，根据图4(a)以及相似三角形定理可推导出z=bf/d，其中，b表示两个摄像机之间的基线距离，f表示相机的焦距，z景深.根据相似三角形定理从图4(b)中可以推导出x=fL/z，其中，x为物体的成像大小，L表示场景物体实际的大小，由以上两个式子可得x=Ld/b.

因此，物体与镜头之间的距离越大，它的视差范围就越小，融合的位置越靠前，物体就会越有层次感；
反之，距离越小，视差越大，物体的层次感越弱，即物体在越靠后的位置，层次感会越不明显.

2.3 自适应融合

在进行梯度融合时，如果源图像和目标图像的背景相差较大，融合结果中会出现树木失色的现象，使得融合效果不自然.为了获得融合效果自然的图像，本文通过透明度处理树木失色问题.

2.3.1 颜色调整

对融合结果进行评价时，视觉效果是首要考虑的评价标准.视觉效果好的融合结果融合边界过度自然，融合区域颜色分布均匀.梯度域融合的不足之处在于源图像颜色和目标背景颜色相差过大时，融合效果不自然.泊松融合是经典的梯度域融合方法，它的融合对比效果如图5所示.

图5 树木泊松融合效果Fig.5 Tree poisson blending effect

观察图5可知，泊松融合在源图像的颜色与目标背景颜色相差较少时，生成的融合结果融合效果较好，如树冠的上部分区域融合的结果很自然.但是，在源图像与背景图像差异较大时，融合图像中会出现树木失色问题，如图中矩形框标记的区域.图5(a)与图5(b)矩形框标记的为树木的同一区域，经过泊松处理后该区域的颜色在灰度图中显示为黑色，颜色发生了很大的改变.为了改善这一问题，本文使用透明度融合的方法对泊松融合的结果进行改进.

1)梯度域融合与透明度融合结合的图像融合算法

透明度方法进行图像融合时，可以精确的获取树木对象，但是，该方法完整地保留了树木的颜色，使得树木与目标图像融合的效果很不自然.梯度融合则因为目标背景颜色对树木颜色的影响，出现树木图像失色问题.为了使融合结果的颜色变化自然，本文将透明度融合方法与梯度域融合方法结合对融合的颜色控制，本文选择的梯度域融合方法为泊松融合.

进行图像融合时，本文将颜色自适应权重引入到融合区域实现对树木颜色的控制.此时，融合区域公式为：

Iz=ωzMz+(1-ωz)Pz

(8)

z=(x，y)代表图像中的任意像素点，Pz为像素点泊松融合的结果，Mz为透明度融合结果.ωz代表像素z处的颜色自适应权重，其中，ωz是对融合效果改进的关键.

2)权值确定

本文受Li等人[17]提出的方法启发调整图像颜色，主要通过亮度对比系数进行调整，获取亮度对比系数的步骤如下：

在树木的透明度在0和1之间的区域分别计算两幅图像的亮度和F及B，然后根据获取的值计算亮度对比系数φ.

(9)

由公式(9)可知，亮度对比系数的值与源图像半透明区域的平均亮度呈正相关.

计算自适应权值：

(10)

其中，ω1代表融合区域的方差，ω2代表融合区域的均值，本文将亮度阈值ε设置为1.5.当φ>ε或者1/φ>ε时，说明目标背景的颜色与树木的原始背景颜色差异大，此时要使用大的权值对颜色进行调整，当差异小时，不需要对融合区域的颜色进行太大的调整，所以，可以将颜色自适应权值ω设置为常数χ，χ的值在本文中取0.8.

2.3.2 遮挡处理

3D图像融合与2D图像融合不同，在融合时要考虑并处理图像中物体间常出现的遮挡问题，本文采用了Zheng等人[18]提出的方法，通过深度计算判定并处理遮挡.在进行融合时，依据树木在目标图像中融合的位置，在重构出树木图像的深度后，将该深度与目标图像的深度进行比较来判断融合后物体的遮挡关系.融合后的视差图通过公式(11)获得:

(11)

其中，blend代表融合结果的视差图，Dfg(x，y)代表前景图像(x，y)处像素点的深度值，Dbg(x，y)代表背景图像(x，y)处像素点的深度值.

在处理遮挡问题时，本文主要依据的就是融合后的视差图，当树木对象的视差值小于目标背景的视差值时，说明融合后树木会受到遮挡，否则，说明树木在靠前的位置.

3.1 树木融合颜色效果

本文选取了一张照明比较特殊的图像作为目标背景，来探究不同方法对融合结果中树木颜色的处理效果.如图6(a)所示，直接把获得的粗略的树木抠图与目标背景融合，生成的结果会出现很明显的边界.如图6(b)所示，泊松融合在进行图像融合时，虽然不需要将树木对象精确地抠取出来，就可以实现图像的无缝融合，但是在夹杂的源图像的背景区域以及目标背景灯光颜色的共同影响下，融合结果的颜色空间出现了明显的平移，树木灰度与其原始灰度相比加深了很多；
同时，由于梯度平滑处理，树冠中的孔隙被进行了填充，导致融合后树木对象的结构发生改变.为了降低源图像背景对融合结果的影响，实验使用经过优化的透明度图6(d)对树木图像中无关的背景信息进行了过滤.观察过滤背景信息后泊松融合的结果图6(f)可知，树木的结构在融合结果中得到了很好的保留，但是，与树木原始的颜色相比，融合后的颜色出现了向灯光颜色空间的非线性平移.融合的结果中树木与房子边缘接近的区域，出现了严重的染色问题，该区域灰度变为了黑色，如图6(g)所示.将图6中的融合结果进行比较会发现，在泊松融合中引入优化的透明度后，融合的结果中树木的结构可以得到的更好的保留.但是融合后树木的颜色依然会受到背景颜色的影响，出现染色问题.

图6 孔洞去除前后泊松融合的结果Fig.6 Results of poisson blending before and after removing the holes

本文方法也探究了融合树木对象的颜色变化，主要通过自动计算颜色自适应权值，图7为使用不同方法生成的融合结果对比图.基于透明度融合的方法生成的融合结果未对树木图像的颜色进行处理，完全保留了树木对象原始的颜色，如图7(b)所示，透明度融合结果中树木的灰度与图7(a)中树木的原始灰度相比并未发生改变，与背景融合后不自然，尤其在融合边界区域过度很不自然；
泊松融合方法生成的融合结果中树木的颜色很容易受到背景图像颜色的影响，图7(c)中第2行与第4行的树木灰度图颜色，受到过暗的背景图像颜色的影响，几乎变成了黑色，而图7(c)第1行与第3行的融合结果，受到过亮的背景颜色影响，融合后的树木灰度与树木原始的灰度相比偏白，图7(c)展示的结果中，树木颜色空间均发生了明显的偏移，失色严重，视觉效果很不自然；
而图7(d)展示的本文方法生成的融合结果中的树木总的来说与目标场景比较贴合，并且颜色梯度变化平缓，树木灰度在其它两种结果之间，融合效果自然.

图7 不同方法结果对比Fig.7 Comparison of results of different methods

由于融合结果的好坏很难通过客观的比较策略来进行评估，所以，为了探究不同方法的融合质量，本文方法进行了主观实验对融合效果进行评估.我们邀请了30名受试者来进行评估实验.实验过程如下：首先将图7中包含的树木图像以及背景图像依次在屏幕上进行展示，然后，将每张泊松融合的图像、透明度融合的图像、以及本文方法融合的图像，在屏幕随机显示10秒，最后，让30名受试者根据树木颜色的保真度以及整体的协调性这两个因素，分别从所有融合结果中选出一幅效果最好的图像.图8为根据实验结果绘制的柱状图.

图8 各方法选择人数结果柱状图Fig.8 Histogram of results

从图8显示的结果可以明显的看出，与透明度融合方法以及泊松融合方法相比，选择本文方法的人数最多，即本文的方法效果最好，感知环境的能力强.

3.2 遮挡处理

遮挡处理前后的融合结果如图9所示.观察图9(a)虚线框标记区域会发现，由于没有处理好圆柱与树干的遮挡关系，树干区域融合后在圆柱的前面，树干的显示出现异常.为了避免出现类似于图9(a)中的异常，本文方法通过基于深度计算的遮挡方法对物体间的遮挡问题进行了处理，处理结果如图9(b)所示，可知本文方法得到的图像融合效果好，并未出现融合异常.

图9 遮挡处理前后效果图Fig.9 Blending effect of occlusion processing

3.3 树木立体层次感对比

为了获取红蓝立体图像，本文将参考视图的R通道，虚拟视图的G、B通道进行了叠加.本文选取的参考视图为融合图像，虚拟视图通过DIBR变换技术得到，因为，存在遮挡暴露的问题，因此虚拟视图中会有视觉盲区即空洞.为了对虚拟视点图像进行修复，本文使用线性插值法填补空洞.R、G、B三通道叠加后的生成结果的灰度图如图10(b)与图10(d)所示.

图10 树木多层次对比Fig.10 Multi-level comparison of trees

同时，图10展示了单一层次和多层次立体树木的对比图.观察图10可知，单一层次构建出的立体树木图像层次感不明显，并不具有立体感；
然而，本文方法构建出的立体树木图像层次感明显，立体效果较好.图10(d)圆框标记的区域与图10(b)中对应区域相比，树木的灰度发生了更多的变化.

图11展示了更多使用本方法生成的融合结果，从图11可以看出，使用本文提出的融合方法生成的立体图像，树木的层次感分明，物体间的遮挡得到了正确地的处理，融合边界过度平缓，实现了与环境的自然融合，融合效果较好.

图11 立体树木融合效果Fig.11 Stereoscopic tree blending effect

本文提出了一种可以感知环境的立体树木图像融合方法，该方法结合树木颜色特点，使用采样抠图法以及K-Means算法获得了精确的树木图像.此外，该方法将基于透明度的融合以及基于梯度域的融合结合，对树木对象染色的问题进行了处理.经过处理后获得了更加自然的融合结果.同时，该方法为了避免融合异常，在融合过程中，对图像物体间出现的遮挡问题进行了处理.

虽然本文的方法取得了比较好的立体树木图像融合效果，但是本文方法还存在一定的局限性.本文方法在采用K-Means聚类算法对树叶之间的背景信息进行过滤时，当目标背景与树木本身的颜色相差比较大时，可以获得比较好的过滤效果，但是，当颜色相差较小时，仍需要进行大量的用户交互.因此，我们未来将对树木的抠取算法进行进一步改进和优化.

猜你喜欢 树木背景深度 等腰直角三角形背景下的旋转相似初中生学习指导·中考版(2022年4期)2022-05-12四增四减 深度推进快乐学习报·教育周刊(2022年16期)2022-05-01深度思考之不等式新高考·高三数学(2022年3期)2022-04-28《论持久战》的写作背景当代陕西(2020年14期)2021-01-08树木之最小天使·一年级语数英综合(2020年11期)2020-12-16简约教学 深度学习福建基础教育研究(2019年6期)2019-05-28树木之最文理导航·科普童话(2015年2期)2015-06-16基于Modelica的高炉顶压控制仿真计算技术与自动化(2014年1期)2014-12-12深度挖掘棋艺(2001年21期)2001-01-06

推荐访问:感知 树木 融合