No-reference light field image quality assessment based on joint spatial-angular information

1.   引　言

传统手工特征获取的方式可能会遗失掉一部分原始图像信息，从而影响预测准确性。近些年来，随着卷积神经网络 (convolutional neural networks, CNN)在图像质量评价领域的逐渐应用，很多学者提出了许多基于神经网络的LF-IQA方法。例如，Alamgeer等人^[14]考虑到传统神经网络受限于局部感受野的限制，无法长期保持学习依赖关系，提出基于长短时记忆网络的LF-IQA度量方法。Qu等人^[15]通过引入深度可分离卷积实现对LFI失真程度的精准预测。为了进一步感知LFI的角度失真，他们还提出了角度注意的概念和三个特定的角度注意核，以全局或选择性地提取多角度特征，提高了LF-IQ的准确性^[16]。上述方法都是基于整幅LFI进行特征学习，容易面临计算量大、复杂度高的问题。为了缓解这类问题，Zhao等^[17]使用可区分的EPI块来预估LFI质量。Zhang等^[18]采用切块处理，利用多个小块的图像质量分数估计整幅LFI的图像质量分数。

受到2D图像质量评价方法的启发，前期有关NR LF-IQA的工作更多的是采用在LFI的2D表示中提取传统手工特征的方式，分别获取空间/角度的失真信息，再通过支持向量回归或随机森林方式训练模型来评估LFI的感知质量分数。例如，Shi等人^[8]通过捕捉光场眼合成图像阵列的自然分布和利用光场极平面图像 (epipolar plane image, EPI)的梯度方向图分布分别捕获空间和角度方向的失真信息，衡量失真LFI的感知质量。Luo等人^[9]利用全局熵分布和均匀局部二值模式描述符从微透镜图像 (micro lens image, MLI)中提取特征，通过信息熵计算评估LFI的感知质量。Xiang等人^[10]对LFI进行Curvelet变换，从LFI的均值差图像和子孔径图像中提取相应的自然场景统计特征和能量特征用于LFI质量预测。Lamichhane等人^[11]通过估计LFI的显著性图和眼合成图来提取空间特征，结合全局亮度分布，在EPI上使用加权局部二值模式运算来获取角度特征，实现对LFI的质量评估。Zhou等人^[12]利用Tucker分解获得4个定向SAI堆栈的第一主成分，提出张量角变异指数，搭配第一主成分获取SAI之间的结构相似度，综合空间和角度信息获取LFI质量分数。Xiang等人^[13]基于光场图像不同的可视化方式，在伪视频序列和重聚焦图像中提取能表征失真的特征，并通过支持向量回归模型池化特征进行质量预测。

伴随着沉浸式多媒体技术的飞速发展，光场成像已成为计算视觉领域的研究热点^[1]。与传统2D图像不同，光场图像 (light field image, LFI)不仅可以呈现出图像的空间域信息，同时还包括独特的角度域信息。光场图像信号可以由7D全光函数数学模型表示，其可进一步简化为双平面光场模型$\mathcal{L} \in {\mathbb{R}^{u \times v \times x \times y}}$，即用4D函数表示，其中$ (u,v)$平面和$ (x,y)$平面分别对应于角度域信息和空间域信息^[2]。因为其丰富的空间和角度信息，光场广泛应用于图像应用，包括深度估计、重聚焦、3D重建等^[3-4]。然而在光场图像处理过程中，压缩、重建等操作都会引入各种复杂失真，从而降低用户视觉感知体验质量。因此，研究准确的光场图像质量评价 (light field image quality assessment, LF-IQA)方法以优化光场图像处理方法与过程是十分必要的。

然而，上述已知的一些研究在对空间-角度信息提取过程中没有充分考虑人眼视觉感知特性，在对图像信息提取时，通常采用局部或是全局特征提取，一次性获取图像的所有信息，并没有达到预期的性能目标。基于以上分析，本文提出了一种联合空间-角度特征和EPI特征的无参考光场图像质量评价方法。首先对图像进行切块数据增强处理，通过对图像块进行空间-角度信息分离处理，利用两条支路分别提取空间和角度特征。在对空间信息提取时，利用ResNet^[19]对图像信息进行阶段化提取，逐步实现由粗到细的特征提取。同时利用金字塔框架结构实现对角度信息的逐级特征提取，以充分考虑局部与全局信息的关联性。为更全面地获取影响评估准确性的角度失真信息，构建了双向EPI特征学习网络。在初步获取图像空间和角度信息的基础上，增强对角度失真特征的捕捉，提高预测精度。

光场图像质量评价根据原始参考图像信息的参与程度可以分为三类。其中全参考 (full reference, FR)和半参考 (reduced reference, RR) LF-IQA使用全部或部分原始参考信息用来评估失真LFI的视觉感知质量。例如，Tian等人^[5]提出了一种基于多阶导数特征模型 (multi-order derivative decision-based model, MDFM)，计算原始光场图像与失真光场图像中的所有子孔径图像 (sub-aperture image, SAI)导数特征的相似度平均值作为失真光场图像的分数。Huang等人^[6]基于人眼对空间视角下的尺度、方向、轮廓和几何视角下的视差变化更感兴趣的事实，使用轮廓波变换在参考和失真SAI上提取空间特征，同时使用3D Gabor滤波器在参考和失真SAI序列提取角度特征对参考LFI和失真LFI进行相似度度量。Min等人^[7]从全局空间质量、局部空间质量以及角度质量三个方面量化失真光场图像质量，利用SAI的结构匹配度和近边缘区域的均方误差评估光场图像的全局和局部空间质量，结合视图密度和视图质量变化信息来估计光场图像的角度质量。然而在某些实际应用中，参考LFI可能无法获得，使得全参考和半参考方法的使用受到限制。而无参考 (blind/no reference, NR) LF-IQA则是不需要原始参考信息的参与直接对失真LFI进行视觉质量评估，因而具有更广泛的应用场景。

2.   提出的方法

2.1   光场图像的2D表示形式

微透镜图像 (MLI)：一个微透镜图像是由一系列的微透镜单元组成，其中每一个微透镜单元聚集了所有位于空间位置$ (x,y)$的光线信息，用来获取LFI的角度信息，表示为$ {M_{x,y}} = \{ {M_{x,y}} (u,v)\} $，如图1(a)所示。

极平面图像 (EPI)：当同时固定u、x或者v、y时，可以获取到EPI图像。EPI图像反映了LFI的垂直或水平视差信息，表示为${E_{u,x}} = \{ {E_{u,x}} (v,y)\} $或${E_{v,y}} = \{ {E_{v,y}} (u,x)\} $，如图1(b)所示。

Figure  2.  Full-Size Img PowerPoint

Overall framework of SAE-BLFI

Figure  1.  Full-Size Img PowerPoint

Different representations of light field image. (a) MLI; (b) SAIs

子孔径图像阵列 (SAIs)：将$ (u,v) $平面作为一组相机视图，将$ (x,y)$平面作为其焦平面，LFI可表示为针孔视图的2D阵列，并且每个视图称为SAIs的2D图像，表示为$ {I_{u,v}} $，反映了位于角坐标$ (u,v)$处的空间信息，如图1(b)图像阵列所示。

图2为提出的联合空间-角度信息和EPI特征信息的无参考光场图像质量评价方法 (spatial-angular-epipolar plane information blind quality assessment of light field images, SAE-BLFI)的总体框架及相关模块。它主要由两个部分组成： 1)数据增强操作； 2)多分支特征提取网络。首先，通过数据增强操作对原始失真图像进行空间-角度图像块生成。然后，通过渐进式空间特征提取、多尺度角度金字塔、双向EPI特征学习网络分别获取图像的失真特征。最后，将三分支的特征进行跨特征融合，预测失真图形块的质量分数，再对所有的块得分进行池化操作，得到输入失真LFI的总体质量得分。

为了更好地观察LFI，一般采用三种可视化方法：微透镜图像、子孔径图像阵列、极平面图像。

2.2   数据增强

使用图像块训练深度学习模型是解决LF-IQA方法中训练数据不足的有效方法。如图2左侧所示，给定一个大小为9×9的SAIs的输入失真LFI，首先提取其中心A×A SAIs，以降低计算复杂度。由于人眼对YCbCr颜色空间中的亮度分量Y更敏感，因此仅将Y分量用于图像块生成。然后，利用S×S滑动窗口以T步长在每个SAI上均匀滑动，并将中心A×A SAIs的相同采样位置聚合并转换形成空间-角度图像块I_dis。具体可表示为

其中：$ I \in {\mathbb{R}^{u \times v \times x \times y}} $代表输入失真LFI，$ Central ( \cdot ) $代表取中心A×A的SAIs，$ rgb2ycbcr ( \cdot ) $代表只取Y通道分量，$ Permute (S tich ( \cdot )) $代表移位切块并重组。在实验中，A、S、T分别设置为7、32、32。

2.3   空间-角度分离模块

考虑到光场图像是同时包含场景中光线强度和角度信息的高维信号，本文采用一种空间-角度分离操作，将原始的高维图像特征转换为低维图像特征，以微透镜图像形式进行特征提取。具体来说，通过对微透镜图像块使用两种不同的卷积操作，实现角度域和空间域的分离。如图3所示，为方便可视化，示例为角度分辨率为3×3的微透镜图像块。其中来自不同视图的像素用数字表示，来自不同宏像素的像素用不同颜色表示。在实验实施当中，角度分辨率为7×7。

空间信息获取：为了实现从图像块中获取到空间信息，需要针对来自相同角度坐标的像素进行卷积，来自其它角度视图的像素应该被隔离。为了实现该目标，这里使用了卷积核大小为3×3、步幅大小为1、膨胀率为7的卷积。其中，膨胀率设置为7是为了保证隔离来自不同视图的信息。

Figure  3.  Full-Size Img PowerPoint

Schematic diagram of spatial-angular separation

角度信息获取：角度信息的提取需要保证来自同一空间坐标下的像素被卷积，而隔离来自不同宏像素的其它像素。因此，这里采用了卷积核大小为7×7、步幅大小为7、膨胀率为1的卷积。卷积核的大小以及步幅的选择是根据图像块的属性确定。上述图像块包含7×7的角度像素信息，即包含来自同一个宏像素的所有像素信息。

2.4   空间-角度特征提取网络

在图像质量评价研究中，增强特征的表示能力是至关重要的。多尺度特征由于能够通过不同尺度上的信息来更为全面地反映信号特征，广泛应用于计算机视觉和深度学习领域^[20]。由于LFI不同于传统图像，除了常见的空间失真以外，还包含有复杂的角度失真。因此，本文基于多尺度特征提取方式提出两种捕捉空间和角度失真的网络结构。

2.4.1   渐进式空间特征提取网络

特征提取阶段利用ResNet50作为骨干网络框架，并使用ImageNet中的预训练模型初始化相应的网络参数，再分别获取来自不同层级的四个特征fm₁，fm₂， fm₃，fm₄；HVS的神经反馈作用被证明可以对失真区域增强细节表达，因此，在深度迭代阶段，以下一深度阶段的特征作为反馈输入传递到当前阶段。通过三次迭代，整合并关联来自不同深度的特征信息。迭代过程表示如下：

基于对人类视觉系统 (human visual system, HVS)的考虑，本小节围绕卷积的特性设计一种渐进式空间特征提取网络 (progressive spatial feature extraction network, PSEN)，模拟由粗到细的学习方式。整个分支主要由两个要素组成：特征提取和深度迭代。

其中：$ f_{{\rm{r}}d} $表示深度为d时的输出，$ f_{{\rm{m}}d} - 1 $表示上一个深度的输出，$ \vartheta_d $表示变换参数，$ \gamma_d $表示映射函数。

随后，将所有的迭代输出与第一层级的特征进行融合，送入到最后的卷积阶段得到四个空间特征块$ S f_i\; (i = 1,2,3,4) $，经过卷积操作和平均池化之后获取到图像的空间信息SF。上述操作可表示为

2.4.2   多尺度金字塔角度特征提取网络

角度信息是LFI区别于传统2D图像最显著的特点。因此，有效捕捉到LFI中存在的细微角度失真是决定LF-IQA性能好坏的关键要素。基于角度特性的考虑，为实现角度域中的特征多重利用能力，本节构建了一种多尺度角度金字塔特征提取网络 (multiscale angle pyramid feature extraction network, MAEN)。通过获取不同层次的失真信息，增强特征的表达能力。其后，通过一种类似金字塔的结构设计，重复使用低层级和高层级特征信息，模拟人类视觉的分级感知机制，进一步加强多尺度特征的表达能力。该结构的具体细节如下：首先设计3个残差块，每个残差块包含两个卷积层、两个归一化层和一个ReLU激活函数。在每个卷积层之后使用ReLU激活函数以避免不良初始化。随后通过选择不同尺度的特征图实现多尺度特征融合，其中选择了将三个残差块的输出作为融合选项。为了保证通道维度一致，通过上采样操作对其分辨率进行加倍。最后使用卷积操作获取最终的特征图。该流程表示如下：

其中：$ \psi ( \cdot ) $表示1×1卷积操作，$ \xi ( \cdot ) $表示3×3卷积操作，$ \delta ( \cdot ) $表示上采样操作，$ \oplus $表示相加操作。

2.5   双向EPI特征学习网络

EPI可以通过记录不同视点位置下的光线强度分布来反映光场图像的角度特性。如图4所示，左侧展示了来自Win5-LID数据集的两个示例LFI (bikes、dishes)，右侧截取了来自原始参考图像以及四种失真图像的EPI。其中，四种失真分别是JEPG、HEVC两种压缩失真和线性插值 (LiNear interpolation, LN)、最近邻插值 (nearest neighbor interpolation, NN)两种重建失真。从图中可以观察到同一场景中的不同失真所表现出来的EPI存在明显差异。

Figure  4.  Full-Size Img PowerPoint

EPI under different distortion conditions for two scenarios

传统的方式一般利用EPI的梯度变化来捕捉角度失真。本文则是利用基于CNN的双向EPI特征学习网络 (bidirectional EPI feature learning network, BELN)来直接提取EPI图像特征，以获取来自水平角度和垂直角度上的失真细节信息。根据卷积的性质，设计不同类型的卷积核，形成不同的特征感受野，捕捉水平和垂直方向的EPI图像信息。对于水平方向EPI特征获取，需要固定u和x坐标，以此获取来自v-y空间内的图像信息。因此使用一种特殊卷积方式：卷积核大小为1×7²，水平步长为7，垂直步长为1，不进行填充操作。逐行卷积，即可实现在每一个水平方向获取像素信息。垂直方向EPI获取采取类似方式：卷积核大小为7²×1，水平步长为1，垂直步长为7，不进行填充操作。逐列卷积，依次获取每一个垂直方向上的像素信息。

2.6   质量回归

其中：N为单张LFI切块数量，QS表示整幅失真LFI的感知质量分数。

将所提取到的空间特征、角度特征以及极平面特征进行级联，经过线性回归输出得到每一个空间-角度块的预测质量分数Q_i。最终，合并所有空间-角度块的质量分数作为整幅失真LFI的整体质量分数，表示为

3.   实验结果与分析

为验证所提出SAE-BLFI的性能，将其与具有代表性的2D-IQA和LF-IQA方法在三个公开光场图像数据集Win5-LID^[21], NBU-LF1.0^[22], SHU^[23]上进行实验。对比方法包括两种2D NR-IQA方法 (BRISQUE^[24]，GWH-GLBP^[25] )、3种FR LF-IQA方法 (MDFM^[5]，Min方法^[7]，Meng方法^[26])，以及7种NR LF-IQA方法 (BELIF^[27]，NR-LFQA^[8]，Tensor-NLFQ^[12]，VBLFI^[10]，4D-DCT-LFIQA^[2]，DeeBLiF^[18]和SATV-BLiF^[28])。

3.1   光场图像数据集

SHU数据集包括来自EPFL数据集^[29]的8幅源LFI。每幅LFI都经过五种失真处理，即高斯模糊、JPEG2000、JPEG、运动模糊和白噪声伪影，共计生成了不同失真程度的240幅失真图像。主观实验采用被动实验模式和DSCQS方法。数据集提供的MOS范围为0 (差)至5 (优)。

Win 5-LID数据集包含6个真实场景和4个合成场景作为参考LFI。然后，将六种失真类型应用于10幅参考LFI，共计产生220幅失真LFI。这六种失真类型包括HEVC和JPEG 2000这两种压缩失真，以及线性插值 (LN)、最近邻插值 (NN)、基于CNN的插值 (EPICNN和USCD)这四种角度插值重建失真。除了两个CNN失真之外，其它四个失真中的每一个都包含5个失真级别。主观实验采用双刺激连续质量量表法 (double-stimulus continuous quality scale, DSCQS)在5点离散量表上评估这220幅LFI的质量。对于每幅LFI，收集平均意见评分 (mean opinion score, MOS)。

NBU-LF1.0数据集包含14幅参考图像 (包括真实场景和合成场景)和210幅失真的LFI，涵盖5种类型的重建失真，包括最近邻插值 (NN)、双三次插值 (bicubic interpolation, BI)、基于学习的重建 (EPICNN)、基于视差图的重建插值 (MDR)和空间超分辨率重建 (VDSR)。每个失真有3个级别。采用被动式结合交互式的可视化方法、结合DSCQS的方法进行主观实验。提供了5点离散标度的MOS。

3.2   实施细节以及性能评价标准

使用三个指标来衡量各种图像质量评价方法的性能：Pearsons线性相关系数 (Pearson linear correlation coefficient, PLCC)，Spearmans秩序相关系数 (Spearman rank order correlation coefficient, SROCC)和均方根误差 (root mean square error, RMSE)。PLCC测量客观评价方法预测结果与MOS值的线性关系，SROCC关注单调性，RMSE评估预测精度。较高的PLCC和SROCC值表示更好的性能，而RMSE则相反。根据文献[30]建议，计算PLCC和RMSE之前采用了一个包含5个参数的非线性函数进行得分映射，如式 (9)所示：

现有的大多数用于质量评估的LFI数据集只包含由少量参考LFI生成的几百个失真LFI。如果将整个数据集随机分成训练集和测试集，这两个集合中可能会包含来自相同参考LFI的失真LFI。因此，为了确保训练集和测试集完全独立，本文使用K折交叉验证^[18]来进行实验。具体来说，对于每个数据集，所有从同一参考场景生成的失真LFI被视为一个子集。这样，一个包含K个参考场景的LFI数据集将被分成K个失真LFI子集，每个子集仅包含一个参考场景的所有失真版本。然后，随机选择K-2个子集用于训练，并在剩余的2个子集上测试评价方法的性能表现。共有K (K-1)/2种可能的组合。最终，基于所有可能的组合进行实验，并将平均结果作为模型性能表现。

所提出的方法在PyTorch框架上实现，实验环境设置为 (CPU：Intel (R) Core (TM) i9-10900X CPU 3.70 GHZ；GPU：NVIDIA GeForce RTX 3090 24 G)。模型参数使用mini-batch随机梯度下降 (SGD)优化器进行优化。权重动量和衰减率分别设置为0.9和0.001。初始学习率为0.001，每10个epochs乘以0.1，共训练20个epoch。使用批量大小为32进行从头训练。

其中：$ {\beta _i}\left ( {i = 1, \cdots ,5} \right) $是拟合参数，p表示目标预测，$f (p)$是其非线性映射结果。

3.3   总体性能比较

由于实验采用的是K折交叉验证，不同的划分方式会导致训练集和测试集不同，进而产生不同的结果。为了验证所提出的方法和其它LF-IQA方法在整体性能方面的稳定性，图5展示了Win5-LID和NBU-LF1.0数据集上SROCC值的箱型图。在图5中，SROCC值的中位值由红线表示。对于一种IQA方法而言，其箱型图中心红线越高、箱体高度越短，其预测性能和稳定性越好。

表1展示了所提出方法和对比方法在Win5-LID，NBU-LF1.0以及SHU数据集上的整体性能对比，最佳性能用粗体表示。从表1中可以发现，传统的2D IQA方法都无法精准地预测LFI的质量。这主要是因为这些方法都没有考虑到LFI的角度失真对于人眼视觉感知的影响。而FR/NR LF-IQA方法基于LFI的特性出发，额外考虑了角度失真对于光场图像质量的影响，从而实现了更高的预测准确性。其中，基于深度学习框架的DeeBLiF方法的性能明显优于其它基于传统手工特征的方法，这可能是因为CNN对于图像特征的强大获取能力。然而，大多数现有的LF-IQA方法在获取角度特征和空间特征时，忽略了中间过程的特征，只保留了最后尺度的信息，所获取到的细节信息不全。而本文通过逐级获取图像特征，充分利用多尺度特征，更全面地反映失真信息，并结合EPI进行特征补充，增强角度特征的表达，达到了相对更好的性能。在三个数据集上都取得最佳性能，其中在Win5-LID和NBU-LF1.0数据集中SROCC表现出明显的优势。其原因可能是由于Win5-LID和NBU-LF1.0数据集包含更多的重建失真，而SHU数据集主要包括2D图像中的常见失真。

可以发现，本文所提出的方法在性能稳定性上面要优于其它对比的LF-IQA方法。

在实验中，基于学习的方法都使用K折交叉验证进行训练。为保证性能对比的公平性，基于非学习的方法也在相同的测试集上实验。对于所有对比方法，均使用其作者发布的代码和默认参数设置，以避免偏差。

Figure  5.  Full-Size Img PowerPoint

Boxplot of SROCC distribution in K-fold cross-validation on Win5-LID and NBU-LF1.0 datasets. (a) Win5-LID; (b) NBU-LF1.0

3.4   针对不同失真类型的鲁棒性

为了进一步分析所提出的模型与其它IQA模型在不同失真类型下的性能，在Win5-LID和NBU-LF1.0数据集上进行了单独失真类型的性能比较实验。这里不考虑Win5-LID数据集中基于CNN的两个失真类型，因为它们只存在一个失真级别。表2中列出了SROCC的结果，其中最佳性能和次佳性能分别用粗体和下划线显示。Hit表示每种模型在各失真类型中检测性能最佳或次佳的次数。

表2显示，所提出的SAE-BLFI在多数失真类型中取得了最佳性能或者次佳性能，而且在个别失真类型 (如JPEG2000)上有显著的改善。对于大多数FR/RR LF-IQA方法，由于参考了原始LFI的图像信息，所以会呈现更好的鲁棒性。在没有参考图像信息参与的情况下，2D-IQA方法对压缩失真的性能明显优于对角度重建失真的性能，而LF-IQA方法则是没有明显变化，主要是因为2D-IQA方法并没有考虑LFI的角度一致性。这表明角度一致性特征对于预测整体LFI质量有很大帮助。最终实验结果表明，本文提出的方法在面对不同的失真类型时具有较好的鲁棒性。

3.5   消融实验

针对所提方法中的三种特征提取网络进行了消融实验，包括渐进式空间特征提取网络、多尺度金字塔角度特征提取网络和双向EPI特征学习网络。表3展示了在Win5-LID和NBU-LF1.0数据集上的消融实验的具体结果，其中，最佳性能用粗体表示，SF代表空间特征，AF代表角度特征，EF代表EPI特征。当只进行简单的空间或者角度特征提取都会导致获取到的失真信息不完整，从而影响对失真图像质量的准确预测。当获取图像的空间特征信息和角度特征信息的同时增强对角度一致性考虑时，性能达到最佳。

3.6   时间复杂度分析

对本文方法与七种无参考光场图像质量评价方法进行了时间复杂度对比实验。为了公平比较，所有指标在相同的硬件配置 (CPU：Intel (R) Core (TM) i9-10900X CPU 3.70 GHZ；GPU：NVIDIA GeForce RTX 3090 24 G；内存：64 G RAM)下执行。测试时间为评价单幅光场图像的运行时间，不包括数据加载和模型初始化的时间。所有基于CNN的方法均使用Pytorch进行测试，而其它方法使用Matlab进行测试。表4展示了这些方法在Win5-LID数据集中Flowers_HEVC_44场景上测试时间的对比结果，从中可以看出，大多数传统NR LF-IQA方法耗时较长，因为它们依赖于提取多个手工特征以确保预测准确性。基于深度学习的方法中，本文提出的方法虽然略慢于DeeBLiF^[18]，但如表1所示取得了更加精准的预测效果。

3.7   跨库实验

为证明所提方法在不同数据集上同样存在良好的泛化性，本小节在不同数据集进行跨库验证。Win5-LID和NBU-LF1.0数据集中都包含NN失真，并且Win5-LID和SHU数据集中都包含JEPG2000失真。因此，在进行跨数据集验证时选择了在Win5-LID数据集进行训练，在NBU-LF1.0数据集和SHU数据集上进行测试。测试结果如表5所示，可以发现本文所提出的方法在不同的数据集上进行测试时仍然具有良好的性能。

3.8   统计显著性检测

为了测试任意两种LF-IQA方法之间的显著性关系，采用了F-test对任意两种方法进行测试。具体操作是利用Matlab中的vartest2函数进行计算，置信水平设置为95%。图6是分别在Winds-LID和NBU-LF1.0数据集测试的结果。其中“1”、“0”和“−1”分别代表行方法要比列方法具有更好的统计性能、二者不易区分、行方法比列方法具有更差的统计性能。从图中可以看出，本文提出的方法明显优于其它LF-IQA方法。

Figure  6.  Full-Size Img PowerPoint

F-test statistical significance analysis on Win5-LID and NBU-LF1.0 datasets. (a) Win5-LID; (b) NBU-LF1.0

4.   结　论

本文提出一种有效的空角感知测量的无参考光场图像评价框架，利用图像块的预测质量来预估整幅失真图像的图像质量。针对LF-IQA任务中数据量不足的问题，通过数据增强操作对数据进行扩充，并同时实现空间-角度图像块的生成。为了模拟人眼感知特性，设计两种多尺度特征提取方式构建局部特征与全局特征的细微关联。通过渐进式空间特征提取网络获取失真LFI的空间失真信息；而在角度失真衡量时，则是采用多尺度金字塔的结构实现，从而完成失真LFI空间失真和角度失真的信息获取。考虑到LFI独特的角度特性，额外设计了双向EPI特征学习网络来增强对于光场图像角度一致性的考量。在三个公开光场图像质量评价库上的对比实验结果表明，本文提出的方法明显优于当前经典的2D/LF-IQA方法，达到了更精准的预测效果。当前的工作大多是围绕图像的空域信息展开，未来的工作中将探索频域与空域结合对LF-IQA带来的影响。