Image dehazing algorithm by combining light field multi-cues and atmospheric scattering model

1.   引言

本文贡献：1)首次提出一种光场成像技术与大气散射模型相结合的图像去雾算法，考虑到场景深度与场景透射率间的关系，本文通过对光场数据分析提取出散焦线索和匹配线索用于估计雾天场景的深度信息，并根据深度信息计算出场景的初始透射率，有效地克服了难以通过提取场景深度估计场景透射率的难题。2)构建出一种新的依赖场景深度信息的权重函数，将其与1-范数上下文规则化约束结合用于对场景透射率进行优化，有效缓解了受噪声影响而导致的场景中物体边缘区域透射率估计的偏差问题。

目前，光场相机得益于其独特物理结构，能够记录光线的4维光场信息^[20]，即角度信息和空间信息，角度信息反映出场景的视角变化，空间信息反映出场景的空间位置信息。光场数据能够更好地揭示出场景的3维结构，通过对光场数据进行分析，将光场成像技术广泛地运用到场景的深度估计中^[21-24]。Tao等人^[21]利用角度一致性构造散焦和匹配线索提取场景的深度信息，并通过非线性最小二乘法优化初始深度图以获取高精度的深度图。受到Tao等人的启发，针对雾天场景深度较难获取的问题，本文首次提出一种利用光场成像技术提取雾天场景深度信息的方法。利用光场相机信息捕获以及数字重聚焦的优势，从4D光场数据中提取出散焦线索和匹配线索用于估计雾天场景的深度信息，有效地解决了由于单幅雾天图像所提供信息量有限的问题。由于雾天图像中噪声的影响，提取的场景深度存在误差，由深度信息计算出的场景初始透射率也存在误差。为了解决该问题，本文通过估计出的深度信息构建新的权重函数，并将其与1-范数上下文规则化约束相结合，对初始透射率进行优化。最后通过大气散射模型实现图像去雾。图 1展示了算法的整体流程。

雾、雨、霾等恶劣天气条件下，大气中悬浮着较多的微粒，由于这些微粒对光线的吸收和散射，会导致在雾、雨、霾等天气下拍摄的户外图像对比度和可见度降低，对计算机视觉中的很多应用产生不利影响，例如图像分类、目标检测以及交通监控^[1-3]等。如何从一幅雾天图像中恢复出分辨率较高的无雾图像，成为图像理解和计算机视觉领域的研究热点之一^[4-5]。

随着图像去雾算法的深入研究，研究人员在图像去雾方面做了大量的研究并取得显著的进展^[6-19]。早期的算法主要采用直方图均衡化^[6]或者滤波^[7]，快速获取恢复后的图像。图像去雾的本质是补偿图像退化过程中的失真，而早期的去雾算法未考虑雾天图像的退化过程，导致图像复原程度具有一定的局限性，尤其对于含有复杂深度的场景，这些方法难以得到较好的处理效果，容易出现色彩失真现象。

为克服传统基于直方图均衡化和滤波方法的局限性，文献[8-9]对大量雾天图像进行分析，提出不同的图像先验知识用于雾天场景透射率的估计，从而实现图像去雾。但是由于单幅雾天图像提供的信息有限，导致这些先验知识在某些场景条件下不再成立，估计出的场景透射率存在误差，影响最终的图像去雾效果。考虑到场景深度与场景透射率之间的关系，学者们尝试通过获取场景深度信息实现单幅图像去雾。Oakley等人^[10]通过使用雷达装置获取场景的深度信息，而后根据大气散射模型恢复出无雾图像。Zhu等人^[13]根据雾会导致图像饱和度降低和亮度增加现象提出颜色衰减先验，并利用这个先验对雾天图像深度进行建模。上述方法获取雾天场景深度信息存在以下两点局限：1)对获取场景深度信息的额外装置要求太高；2)单幅雾天图像提供的信息有限，而根据这些有限的信息提出的先验知识存在一定的场景局限性(如含有白色物体的场景)，导致估计出的场景深度不精确。

Figure  1.  Full-Size Img PowerPoint

Flow chart of developed algorithm

2.   相关工作

1) 基于图像增强方法：此类方法主要依赖直方图均衡化算法和滤波算法。Wang等人^[6]使用全局直方图均衡化算法对雾天图像进行增强处理，并利用小波变换降低增强后图像中的噪声和光晕效应。Wang等人^[25]使用小波变换对图像进行增强，通过SSR(single scale retinex)算法提高图像亮度。Shen等人^[7]利用云雾的空间平滑性，通过同态滤波算法提高雾天遥感图像的光谱保真度。Ramya等人^[26]提出一种亮度保持的动态直方图均衡化算法提高雾天图像的对比度。Xu等人^[27]在HIS色彩空间使用自适应直方图均衡化算法提高雾天图像的对比度。此类方法利用图像的信息有限，并且未考虑雾的形成原因，从而导致图像去雾程度具有一定的局限性。

2) 基于大气散射模型的去雾算法：为了更好地描述雾天条件下图像的退化过程，Howard^[28]首次提出了图像退化的物理模型，Narasimhan和Nayar等人^[29-30]在此基础上提出被广泛使用的图像去雾模型，这一模型可以表示为

为了提取更加精确的场景深度与场景透射率，本文通过对光场相机捕获的4D光场数据进行分析和处理，提取出散焦线索和匹配线索对雾天场景的深度进行估计从而计算出场景初始透射率，同时为了降低噪声的影响，本文利用场景的深度信息构建新的权重函数，并将其与1-范数上下文规则化相结合对初始透射率图迭代优化以获得高精度得场景透射率。

其中：x表示图像中像素的坐标，I(x)表示雾天图像，J(x)表示待恢复的无雾图像，A是全局大气光的值，t(x)表示媒介透射率函数，此函数依赖于场景的深度信息。J(x)/t(x)代表物体本身的辐射经大气衰减后进入相机的光强，A(1t(x))代表太阳光经大气反射或折射后进入相机的光强。假设大气中的雾均匀分布且场景深度已知，则可计算出媒介透射率:

由于散射系数$\beta $在均匀大气条件下可以看成是一个常数^[30]，由式(2)可知，此时场景透射率完全依赖于场景深度，即雾天场景的深度是图像去雾的关键。Oakley等人^[10]使用雷达装置获取场景的深度信息，但该方法对采集设备具有较高的要求。Schechner等人^[18]利用散射光的偏振特性恢复场景的深度信息。但由于雾浓度是动态变化的，找到并采集最好和最差的两幅雾天图像难度较大。Raikwar等人^[19]在Zhu等人^[13]的基础上添加色调差异建立线性模型模拟出场景深度。上述方法可以在一定程度上提高图像的对比度，但是由于单幅图像提供的信息有限，并且雾天图像中包含较多噪声，利用上述方法估计的场景深度会产生一定的误差，从而导致计算出的场景透射率不精确，影响最终的图像去雾效果。

其中：$\beta $为大气的媒介衰减系数，d(x)为图像中x处像素的深度值。Berman等人^[11]分析无雾图像的颜色在RGB色彩空间形成不同紧密的簇(Haze-line)，由这些簇恢复出场景的透射率，从而实现单幅图像去雾。Meng等人^[12]计算原始雾天图像像素间颜色的均方差构建权重函数，将其引入到1-范数上下文规则化约束中，实现对估计出的初始场景透射率迭代优化，并利用物理模型对图像进行去雾处理。He等人^[14]首次提出暗通道先验理论估计出场景的透射率，而后利用大气散射模型实现单幅图像去雾。Zhu等人^[17]用亮度模型和暗通道先验模型分别估计天空区域和非天空区域的透射率，软分割法融合两者以获取最优的场景透射率。此方法对天空区域具有较好的处理效果，但在非天空区域引入较多的噪声。

目前图像去雾方法很多，本文把这些方法归结为两类：1)基于图像增强的方法；2)基于大气散射模型的方法。

3.   本文方法

传统被动式相机仅仅记录光线的强度信息而不能记录光线的方向信息，拍摄的单幅雾天图像提供的信息有限，从单幅雾天图像中提取场景的深度信息较为困难。而微透镜式光场相机^[20]由于在主镜头和传感器中间内置了微透镜阵列，如图 2所示，物体上某点的反射光线通过主透镜平面聚集到微透镜阵列所在平面的一点，微透镜阵列将光线按照入射方向分散到成像传感器上。光场相机通过一次拍摄即可记录光线的4维光场信息^[20]，即角度信息和空间信息，记为${L_{\rm{F}}}(x, y, u, v)$，其中$(x, y)$表示空间信息，$(u, v)$表示角度信息。4维光场数据是同一场景具有一定视差关系的多幅子视角图像，即光场的多视角图像^[31]。再对光场多视角信息进行数字重聚焦，得到不同深度的重聚焦图像，数字重聚焦公式：

Figure  2.  Full-Size Img PowerPoint

Imaging model of light-field camera

其中：L_F表示输入光场图像，Lv_F表示重聚焦图像，$(x, y)$表示空间坐标，$(u, v)$表示角坐标，v为聚焦参数。本文利用散焦和匹配线索提取雾天场景的深度信息，通过非线性最小二乘法进行优化获取场景的最终深度；物理模型对中心视角图像进行去雾处理。算法主要步骤如下：1)利用光场的重聚焦优势和多视角信息提取散焦和匹配线索，置信度加权融合获取场景深度信息；2)利用提取的深度信息计算场景初始透射率，再加权1-范数上下文规则化对其进行优化；3)由中心视角图像估计出全局大气光A的值，用大气散射模型对中心视角图像去雾处理，得到最终的无雾图像。

3.1   多线索深度估计

利用文献[33]提供的最大似然法分别计算出散焦响应和匹配响应的置信度，将置信度作为权值对散焦和匹配响应进行加权求和，得到最终响应R_conf(x, y)，而响应函数表示场景点在不同深度层的响应大小，响应越小，则说明该场景点对应的深度值可信度越高。因此提取每个场景点最小响应R_conf(x, y)相对应的值即为该场景点的深度值，则有：

Figure  4.  Full-Size Img PowerPoint

Depth maps obtained by different methods

2) 利用匹配线索提取场景深度是根据立体匹配原理^[32]，即计算不同视角图像与中心视角图像间像素的平均偏差进行匹配相似性度量，提取出视差信息用于捕获场景的深度信息。如下式：

式中：E_data(x, y)为数据约束项，E_smooth(x, y)为平滑约束项，λ_d为数据约束项的权重系数，λ_s为平滑约束项的权重系数，Z(x, y)是场景的初始深度，${Z_{{\rm{conf}}}}(x, y)$是初始深度值的置信度，Z^*(x, y)是最终优化后的全局深度。F_i为拉普拉斯微分算子。

1) 利用散焦线索提取场景深度信息是基于成像一致性^[21]原则计算出散焦响应，即计算聚焦到不同深度的重聚焦图像与中心视角图像像素间的颜色偏差获得散焦响应：

Figure  3.  Full-Size Img PowerPoint

The pipeline of depth estimation algorithm

式中：$N(u, v)$表示角像素的个数，P(x, y)表示中心视角像素颜色，${L_\alpha }(x, y)$表示重聚焦图像在角度像素上的均值，W_D是窗口大小。

图 4分别为使用散焦线索、匹配线索、融合两者获取的雾天场景深度图以及最终优化后的深度图。由图可以看出，利用两个线索融合的方法获取的深度明显优于单个线索获取的深度，并且非线性最小二乘法可以较好地去除深度图中的噪声，从而提取出更加精确的场景深度信息。

为获取更加精确的深度信息，文献[21]中的非线性最小二乘法对获取到的深度图进行优化。优化公式如下：

具体方法如下：

其中：

通过上面分析，光场相机由于内部独特的物理结构通过一次拍摄可捕获场景的四维信息，即空间信息和角度信息，这些信息能够更好地揭示场景的三维结构，并提取出散焦和匹配线索用于估计场景的深度信息。但雾天图像中含有大量噪声，单独使用散焦线索或匹配线索获取的场景深度存在较大的误差。本文利用置信度加权融合两个线索获取的深度。为了降低噪声的影响，利用非线性最小二乘法对融合深度图进行优化，得到更加精确的深度图。算法流程如图 3所示，主要步骤如下：1)对雾天光场图像重聚焦获取重聚焦图像；2)分别使用散焦线索和匹配线索提取场景深度信息；3)通过置信度对2)获取的两种深度加权融合提取初始深度图；4)通过非线性最小二乘法对3)提取的深度图进行优化，获取最终的场景深度。

3.2   透射率优化

其中：x和y为相邻的两个像素，W(x, y)为引入的权重函数。由式(9)可知，当两像素点之间透射率值的差异越大时，权重函数W(x, y)的值就越小。文献[12]基于在一个局部图像块中颜色相似的像素具有相似深度值的假设，计算局部像素间颜色的平均方差构造权重函数；但是当场景中存在颜色相似但深度值差异较大的相邻像素时，此方法构造出的权重函数对透射率图优化会引入错误的上下文约束。分析可知，权重函数W(x, y)与两相邻像素点之间的深度差异密切相关，即当两相邻像素点x和y之间深度差异越大，W(x, y)的取值就越小，反之就越大。利用光场成像技术可以提取到雾天图像所有像素点的深度值，与文献[12]方法不同，本文利用获取到的场景深度信息构建出一种新的权重函数，即计算深度图中相邻像素点深度的平方差构造权重函数，具体公式如下：

Figure  6.  Full-Size Img PowerPoint

Results of scene transmission map optimization iteratively

其中：t表示最终优化后的场景透射率图，$\hat t$表示通过场景深度信息计算出的初始透射率，$\omega $为图像像素索引集，${{{\mathit{\boldsymbol{W}}}}_j}$表示通过权重函数计算出的权重矩阵，${D_j}$为一阶微分算子，$ \circ $和$ \otimes $分别表示像素级的乘法运算符和卷积运算符，第一项为数据项，用于测量透射率图t和利用深度信息计算出的初始透射率图$\hat t$之间的保真度，第二项为上下文约束项，用于模拟透射率图t的上下文约束，λ为规则化参数，主要用于平衡数据项和上下文约束项。由于变量分裂方法通过引入一些辅助变量，将较难优化的问题转换为一系列简单的子问题进行优化。本文采用文献[12]中提供的变量分裂方法求解式(11)的最小值。

提取出场景深度信息后，由式(2)计算出场景的初始透射率。由于雾天图像中含有大量噪声，提取出的场景深度(尤其在边缘区域及角落区域)存在较大误差，场景的透射率不精确，影响算法的去雾效果。针对此问题，本文采用基于加权1-范数上下文规则化约束^[12]对场景初始透射率迭代优化，以提取更精确的场景透射率，流程如图 5所示。

为了更好地减弱噪声对物体边缘区域透射率估计的影响，将构建的权重函数引入到文献[12]方法提供的目标函数中，用于提取出更加精确的场景透射率，目标函数如下：

Figure  5.  Full-Size Img PowerPoint

Flow chart of transmission map optimization algorithm

其中：d(x)和d(y)为两个相邻像素点x和y的深度值，σ主要用于控制透射率图的平滑度，其值越小，获得的透射率图越平滑，通过多次实验表明，σ取值为0.5时对场景中物体边缘区域有较好的处理效果。本文所有实验中取σ=0.5。

图 6给出对场景透射率优化的结果。图像分别为雾天图像、根据多线索融合方法提取深度信息得到的场景初始透射率图像，以及六次迭代优化后的场景透射率图像。由图 6可知，由于受到噪声的影响，初始场景透射率在物体边缘区域存在较大的误差(图 6中Original)，而使用上述优化方法对初始场景透射率进行迭代优化，对场景中深度不连续以及边缘区域都较好地抑制了噪声的影响(图 6中Iter:6)，从而提取出更加精确的场景透射率，可有效地避免因物体边缘区域透射率估计不精确导致图像边缘及拐角等区域去雾效果不好的问题。并且该方法具有较快的收敛速度，如图 6所示，经过六次迭代就可以达到收敛。

通常假设一个局部图像块中的像素具有相似的深度值，但是当场景中存在深度跳变区域时(如边缘和拐角区域)，这一假设不再成立。本文引入权重函数加入到这一假设中对场景透射率进行迭代优化。即：

3.3   图像去雾

为了避免式(13)中出现分母值为零的情况，故为场景透射率设置一个下限值，并通过获取计算出的透射率与下限值之间的最大值作为当前的透射率值。最终用于恢复清晰图像的公式为^[12]

其中：max()表示取最大值函数，${f_{{\rm{ordfilt}}2}}( \cdot )$表示具有5×5窗口大小的最小值滤波函数，I表示雾天图像，k表示雾天图像的颜色通道数(k=3)。本文方法比Tan等人^[34]方法估计出的全局大气光值更加精确(如图 7(d)所示，黑色区域即为大气光的取值位置)。

由式(1)可知，图像去雾的目的是从雾天图像I(x)中恢复出无雾图像J(x)。为了获取较好的去雾效果，需要估计出更加精确的全局大气光A的值和场景透射率t(x)，当场景透射率已知时，则需要估计出较为精确的全局大气光的值。Tan等人^[34]选取输入图像中像素灰度值的最大值作为全局大气光A的值；当场景中存在与雾颜色相近的亮白物体时(图 7(a)绿框中的白色灯柱)，此方法估计到的全局大气光的值会产生较大的偏差。而最小值滤波是将局部窗口内所有的像素有序排列后，利用最小像素值代替中心像素值，该滤波方法具有去除图像中亮斑的优势。通过选取适当大小的滤波窗口，能够在一定程度上去除图像非天空区域中的亮白区域(图 7(c)绿框中的白色灯柱)。由式(1)和式(2)可知，当图像中像素的深度趋近于无穷大时，该像素的灰度值近似为全局大气光的值，即全局大气光的取值应在天空区域，而真实雾天图像中的大气光不是严格的白光，其R、G、B三通道的值并不相同，并且雾天图像的天空区域亮度明显高于非天空区域，为了避免雾天图像非天空区域中亮白区域的影响以及避免恢复图像中出现色彩偏差的问题，本文首先通过最小值滤波器对输入图像的每个颜色通道进行滤波，然后将每个颜色通道像素灰度值的最大值作为全局大气光分量的估计值。数学表达式：

理论上，场景深度的取值范围为[0, +∞)，由式(2)可知，当场景深度趋近于无穷大时，对应的场景透射率的值将趋近于零，如下式：

其中：t₀为透射率的下限值，是一个常量(t₀=0.0001)，k是一个可变的量，主要是用于动态微调算法的去雾效果，β是媒介散射系数，本文所有实验中β均取值为1.0。

Figure  7.  Full-Size Img PowerPoint

Flow chart of global atmospheric light estimation

当场景的深度信息和全局大气光A的值都已知时，由式(1)恢复无雾图像J(x)，为了便于阐述，将式(1)重写为

4.   实验结果及分析

为了验证提出算法的有效性，本文分别在合成雾天图像和真实雾天图像上展开实验，并从定性和定量两个方面对比分析各算法的去雾效果。

4.1   实验设置

合成雾天图像采用峰值信噪比(peak signal to noise ratio，PSNR)以及结构相似性(structural similarity image measure，SSIM)作为量化评价指标，PSNR和SSIM取值越大，算法去雾效果越好。

其中：I_max表示图像颜色的最大值，I_GT表示原始的无雾图像，I_dehazed表示算法去雾后的图像，W、H分别表示图像的大小。

本文实验在配置为Intel Core i5-4590 CPU 3.3 GHz×4 cores，RAM 16 GB, Windows10 64位操作系统的台式电脑上完成，编程软件为Matlab 2015b。

式中：${\mu _x}$和${\sigma _x}$分别为原始无雾图像的灰度平均值和方差，${\mu _y}$和${\sigma _y}$分别为去雾后图像的灰度平均值和方差，${\sigma _{xy}}$为原始无雾图像和去雾后图像的协方差，C₁和C₂为常数。

实验中采用的雾天图像包括合成雾天图像和使用Lytro Illum相机拍摄的真实雾天图像，其中合成雾天图像是受到Tang等人^[35]的启发，根据Standford Lytro Illum数据集^[22]提供的光场图像以及相应的深度图展开。由于合成雾天图像存在真值，可对各方法的处理结果进行定量分析，由Lytro Illum相机拍摄的真实雾天图像，图像空间分辨率为625 pixels×434 pixels，角度分辨率为15×15，由于微透镜边缘接收的光线不足，导致边缘视角图像存在黑影，本文选取9×9个视角作为实验数据。

4.2   实验结果

4.2.1   算法分析

图 11给出了不同算法去雾后图像中所含的噪声对比结果。从图中可以看出，文献[17]方法对于天空区域具有较好的处理效果，但文献[17]方法对于非天空区域采用暗通道先验的方法进行处理，透射率估计不精确导致去雾处理后图像中存在较多的颗粒噪声。文献[13]方法是采用色彩衰减先验的方法对图像进行去雾处理，虽然可以较好地去除场景中的雾，去雾后的图像中仍然含有一些噪声。本文方法使用加权1-范数上下文规则化约束对场景透射率进行优化，有效地抑制了噪声的影响，在三个场景中，本文方法去雾后图像清晰度明显优于文献[13]和文献[17]方法，图像中所含的噪声较少。

为了验证场景深度对场景透射率和去雾结果的影响，分别利用文献[13]方法与本文方法提取场景深度信息进行图像去雾，如图 8所示。图 8(a)分别表示雾天图像和真实无雾图像，图 8(b)~8(e)第一行分别为文献[13]方法获取的初始深度图、引导滤波优化后的深度图、透射率图及复原图像，第二行分别为本文方法获取的初始深度图、引导滤波优化后的深度图、透射率图及复原图像。由图 8(b)可知，文献[13]方法提取的初始深度图中存在明显的块效应且对亮白区域的深度估计误差较大，而本文方法获取的初始深度图能够较好的体现场景的深度变化且不存在块效应。由图 8(c)可知，利用引导滤波优化可以去除初始深度图中的块效应，但会引入一些不能体现深度变化的细节纹理，导致估计的场景透射率存在较大的误差，去雾后的图像出现严重的色彩失真，本文利用引导滤波优化方法获取的初始深度图能够较好地去除物体边缘区域的噪声，且未在优化后的深度图中引入细节纹理，从而得到精确的场景透射率，获取更好的图像去雾效果。

Figure  10.  Full-Size Img PowerPoint

Effect of transmission map optimization on image dehazing results. (a) Input hazy image and ground truth (from top to bottom); (b) Initial scene transmission map and optimized transmission map; (c) Dehazing results by using (b)

图 9给出使用光场单线索与多线索融合的去雾结果对比，第一行分别为原始雾天图像、散焦线索、匹配线索以及本文方法提取的场景透射率。第二行分别为原始无雾图像、散焦线索、匹配线索以及本文方法的去雾结果。从图中可以看出，单独用散焦线索(图 9(b))与单独用匹配线索(图 9(c))获取场景的透射率都存在较大的误差，图像中的雾未被完全去除，从而影响去雾后图像的视觉效果(图 9(b)及图 9(c))。而使用散焦线索与匹配线索融合的方法可以提取到较为精确的场景透射率(图 9(d))，去雾后的图像与原始无雾图像结构与色彩信息最为接近(图 9(d))，并且对于场景中的一些较小的白色区域的处理效果明显优于仅用单个线索的处理效果。

Figure  11.  Full-Size Img PowerPoint

Comparison results of noise contained in images after dehazing by different algorithms

Figure  9.  Full-Size Img PowerPoint

Comparison of dehazing results between light field single cue and multi-cues fusion. (a) Input hazy image and ground truth (from top to bottom); (b) Transmission map obtained from defocusing cue alone and corresponding dehazing result; (c) Transmission map obtained from correspondence cue alone and corresponding dehazing result; (d) Transmission map obtained by our method and corresponding dehazing result

Figure  8.  Full-Size Img PowerPoint

Comparison of image dehazing results using the depth extracted by the method of Ref. [13] and the depth extracted by our method. (a) Hazy image and haze-free image; (b) Initial depth map; (c) Optimized depth map using guided filtering; (d) Transmission map; (e) Restored image

图 10给出透射率优化对图像去雾结果的影响。第一行分别为初始雾天图像、初始场景透射率及利用初始透射率对图像去雾的结果。第二行分别为原始无雾图像、优化后的场景透射率及利用优化后透射率进行图像去雾的结果。从图中可以看出，利用初始透射率去雾处理后的图像在物体边缘区域处理效果较差，一些雾尚未去除(图 10(c)第一行)。这主要是由于雾天图像中含有较多的噪声，估计出的场景透射率在物体边缘区域存在误差，物体边缘区域的雾未完全去除。而利用优化后的透射率对图像去雾时，可以较好地去除物体边缘区域的雾，获取更好的去雾效果(图 10(c)第二行)。因此，使用加权1-范数上下文规则化约束优化方法在处理物体边缘区域时，去雾效果更好。

4.2.2   合成场景

本文方法在所有的场景中都获得了最大的峰值信噪比，结果与无雾真值图像最为接近，在所有方法中去雾后的图像视觉效果最好，色彩保真度最高。

表 2给出不同方法对Standford Lytro Illum数据集合成雾天图像去雾后图像的结构相似性。结构相似性值的高低，表示去雾后的图像与无雾图像真值之间相似性的高低，从而反映出算法去雾效果的好坏。

表 1给出不同方法对Standford Lytro Illum数据集合成雾天图像去雾后的峰值信噪比。峰值信噪比越高表明去雾的效果越好。从表 1中可以看出文献[13]和文献[16]方法在所有场景中的平均峰值信噪比偏低，主要是因为文献[13]和文献[16]方法未能完全将图像中的雾去除。文献[14]和文献[15]方法在所有场景的平均峰值信噪比偏高，但去雾后的图像天空区域出现明显的色彩失真，视觉效果较差。

从表 2中可以看出，在Buildings2场景中，文献[14]方法和文献[17]方法去雾后图像的结构相似性较高，但是文献[14]方法处理后的图像在天空区域出现了明显的色彩失真现象，文献[17]方法去雾后的图像在天空区域出现过增强的问题。同时，通过计算不同方法在所有场景中去雾图像的平均结构相似性，可以看出本文方法获得的值最高，与去雾后图像的视觉效果一致。

Figure  12.  Full-Size Img PowerPoint

Comparisons of dehazing results on synthetic hazy images. The first line is hazy images; the second line to the eighth line are the dehazing results of Ref. [11~17] methods; the ninth line is the dehazing results of our method; and the tenth line is ground truth

从图 12可以看出文献[12]方法、文献[14~15]方法处理后的图像在天空区域出现明显的色彩失真(buildings场景以及court场景)；文献[13]和文献[16]方法未能完全去除场景中的雾；文献[11]方法利用DehazeNet网络进行场景透射率估计虽然可以获得较好的去雾效果，但是由于训练网络的雾天图像有限，使得特征提取不充分导致场景透射率估计不精确，从而在天空区域出现过增强的现象(第二行的court场景和buildings场景)；文献[17]方法可以实现较好的去雾效果，但是与无雾图像的真值相比，天空区域亮度明显比真值强。相比于以上七种单幅图像去雾方法，本文方法在五种场景中均能够获取较好的去雾效果，并且去雾处理后的图像与最后一行的真值最为接近，具有更好的视觉效果。

1) 定性分析

2) 定量分析

图 12给出七种单幅图像去雾方法与本文方法在五个合成场景上的去雾结果。图 12中第一行为利用光场中心视角图像合成的雾天图像，第二行至第八行分别为文献[11~17]方法的去雾结果图，第九行为本文方法的去雾结果图，第十行为光场中心视角图像，用于作为无雾图像的真值定性分析各种方法的去雾效果。

4.2.3   真实场景

Figure  13.  Full-Size Img PowerPoint

Comparisons of dehazing results on real hazy images. The first line is hazy images; The second line to the eighth line are the dehazing results of Ref. [11~17] methods; The ninth line is the dehazing results of our method

由于用Lytro Illum光场相机获取的光场图像分辨率受限于器件参数导致光场空间分辨率较低，使用光场工具箱Lytro toolboxv0.4解码出来的雾天光场图像较暗，因此使用文献[36]提供的曝光增强方法对光场图像做预处理，而后使用不同算法对预处理后的图像进行去雾，并对结果进行比较。图 13给出不同算法在4个真实雾天场景的去雾结果。可以看出，本文方法、文献[14]方法以及文献[17]方法去雾效果优于文献[11~13]方法和文献[15~16]方法，本文方法与文献[14]方法及文献[17]方法均能较好地去雾。但文献[14]方法对于天空区域处理效果较差，并且物体边缘区域雾未完全去除(第五行的Library场景以及City和Building场景)。文献[17]方法对天空区域具有较好的处理效果，但去雾后的图像中产生较多颗粒噪声(第八行的Building场景和Library场景)。本文方法能较好地去除物体边缘的雾，且去雾后的图像中颗粒噪声少，图像清晰度更高。

5.   结论

从单幅雾天图像中提取的信息有限，很难通过估计出场景的深度信息进行图像去雾，并且由于噪声的影响会导致场景边缘区域透射率估计不精确。针对这些问题，本文在大气散射模型的框架下，首次提出利用光场成像技术获取雾天场景深度信息进行图像去雾的方法。首先利用光场数据提取出散焦线索和匹配线索估计出场景的深度信息，然后根据估计出的深度信息计算出场景透射率，并通过加权1-范数上下文规则化对透射率进行迭代优化，最后利用大气散射模型对光场图像的中心视角图像进行去雾处理，有效地提高了图像去雾的效果。实验结果表明，与其它七种单幅图像去雾算法相比，本文方法恢复的图像天空区域未出现色彩失真，并且对场景中物体的边缘区域具有较好的处理效果。但是由于雾天图像含有较多的噪声，使用本文方法获取的场景深度信息存在一定的误差。接下来的工作是研究如何利用光场的优势设计抗噪性较高的线索提取雾天场景的深度信息, 并引入新的优化方法提高图像的去雾效果。