Image super-resolution reconstruction based on multi-scale feature loss function

1.   引言

近几年来随着深度学习理论的大火大热，其在图像处理领域取得了许多突出性的成果。和传统的浅层学习只能提取简单的特征进行函数拟合相比，深度学习能通过有效地学习得到层次化的特征表示。2014年，香港中文大学Dong等^[13]提出了基于卷积神经网络的图像超分辨率方法(learning a deep convolutional network for image SR，SRCNN)。SRCNN由3层卷积神经网络组成，训练过程可以用GPU加速，直接由LR图像预测HR图像。SRCNN的提出很好的证明了利用深度学习直接学习LR-HR之间端到端的映射是可行的，为今后的深度学习实现图像超分辨率重建打下了重要的基础。但是SRCNN仍有不足之处，网络深度不够，训练收敛较慢，特征提取不充分。后续Dong等^[20]对SRCNN的网络结构进行改进，提出了FSRCNN，使用更小的卷积核和更多的映射层，在最后使用了反卷积层来放大尺寸，不需要先通过双三次插值的方法对输入图像进行放大。由于低分辨率图像携带的低频信息与高分辨率图像携带的低频信息在一定程度上是相近的，2016年，Kim等^[21]结合残差网络提出了VDSR(accurate image super-resolution using very deep convolutional networks)，该方法通过残差连接学习高分辨率图像和低分辨率图像之间的高频部分残差。2017年，Tong等^[22]以及Yamanaka等^[23]结合稠密卷积神经网络分别提出了SRDenseNet(image super-resolution using dense skip connections)和DCSCN(fast and accurate image super resolution by deep CNN with skip connection and network in network)，通过稠密连接的方式减轻了梯度消失问题，加强了特征的传播，实现特征的复用，进一步提升了重建效果。

传统的基于CNN的图像超分辨重建方法大多采用均方误差作为损失函数，可获得较好的PSNR，例如SRCNN、FSRCNN、SRDenseNet，但是重建后的图像容易出现边缘模糊和过于平滑的问题。针对这一问题本文对均方误差损失函数进行改进，提出了基于多尺度特征损失的图像超分辨率重建方法。在基于DenseNet的重建模型后，串联一个3层的卷积神经网络用于对重建图像和其对应的原始高清图像进行多尺度的特征提取，然后计算两幅图像从底层特征到高层特征对应层次特征的均方误差。

图像超分辨率重建技术利用相关网络模型来进行特征的提取，恢复出相关的高频信息，在一幅或一组低分辨率(low resolution，LR)图像中通过增加高频信息，以此来重建出高分辨率(high resolution，HR)的图像，是计算机视觉领域中最经典的问题之一^[1]。重建后的图像具有较高的像素密度，细节信息更加丰富，在医学影像处理、卫星遥感、视频监控、模式识别等领域有着广泛的应用^[2-5]。

目前，图像超分辨率重建技术主要可以分成三类：基于插值的方法^[6-7]、基于重建的方法^[8-9]以及基于学习的方法^[10-13]。其中，基于插值的方法有最近邻插值^[14]和双三次插值^[15]。最近邻插值法规律较为简单，重建效果较差，容易出现方块效应和边缘锯齿效应。双三次插值法相比最近邻插值方法在图像边缘的平滑度上有所提升，不过总体重建效果仍不理想。基于插值的方法虽然简单易于实现，可是细节信息丢失较为严重，造成图像边缘轮廓的复原不理想。基于重建的方法主要分为频域法和空域法两大类^[16]。频域法可用的先验知识十分有限，一般通过消除频谱混叠的现象从而达到提升图像分辨率的效果。空域法主要有凸集投影法(projection onto convex set，POCS)、迭代反投影法(iterative back projection，IBP)、最大后验概率估计法(maximum a posterior，MAP)、混合MAP/POCS法等。基于重建的方法十分依赖高分辨率图像的先验知识，若图像较为复杂，则重建的效果会受到严重影响。基于学习的图像超分辨率重建技术通过提取丰富的高分辨率图像和低分辨率图像的特征来学习LR与HR图像块之间的映射关系。其中较传统的方法有基于邻居嵌入的方法^[17]和稀疏表示的方法^[18-19]。基于邻居嵌入的单幅图像超分辨率重建方法(single image super-resolution，SISR)利用LR图像块和HR图像块之间的几何相似度来学习它们之间的回归或映射关系。在稀疏表示的方法中，将LR图像块和HR图像块利用稀疏编码理论建立字典之间的映射关系，通过学习映射关系重建HR图像。

2.   基于深度学习的图像超分辨率重建方法

2.1   SRCNN

在图像的超分辨率重建问题中，LR图像R_LR是由HR图像R_HR经过降质变换所产生的，其目的是通过对LR图像的学习与分析恢复出对应的HR图像，其观测模型可以表示成：

其中：D为降采样算子，B为光学模糊算子，M为运动模糊算子，N为加性噪声。

目前，基于深度学习的图像超分辨率重建方法取得了较好的成果。其中，SRCNN是一种经典的基于深度学习的单幅图像超分辨率重建方法，该网络模型结构简单，如图 1所示，由三层卷积神经网络组成，分别为图像特征提取模块、非线性映射模块和重建模块，其尺寸依次为9×9×64，1×1×32和5×5×1。SRCNN在训练时采用91张自然图像作为训练的数据集，并进行双三次差值的预处理。SRCNN第一部分的特征提取层利用9×9卷积核对输入图像进行特征提取，表示成64幅不同的特征图。第二部分的非线性映射层通过组合特征进一步将其映射成32幅特征图。第三层对第二层的特征图进行组合表示，从而得到HR图像。SRCNN的重建效果相对于一些基于浅层学习的图像超分辨率重建方法有较大的改善，但是SRCNN仍然有几个方面可以改进：首先SRCNN采用的卷积核较大，会导致计算复杂度增加且特征提取过程中细节容易丢失。其次，适当地加深网络有利于组建更丰富的特征。利用双三次插值进行上采样，该方法其本身具有一定的不确定性，运行起来速度较慢，导致图像细节的丢失，不利于提取特征。

Figure  1.  Full-Size Img PowerPoint

Structure of SRCNN^[13]

2.2   FSRCNN

FSRCNN对SRCNN进行了改进，结构如图 2所示。FSRCNN不再对输入图像进行双三次插值的处理，而是直接将LR图像作为输入，最后通过反卷积层进行放大，并且使用了更小的卷积核和更多的非线性映射层来加深网络深度。FSRCNN的整个模型可分为五个部分。第一部分为特征提取层，采用5×5的卷积核实现。第二部分为降采样层，利用1×1卷积核进行降维，从而减少网络参数，降低计算复杂度。第三部分为非线性映射层，相比于SRCNN采用5×5的卷积核，FSRCNN采用多个3×3卷积核串联的方式来减少计算量。第四部分为扩张层，利用1×1卷积核进行升维操作。第五部分为反卷积层，实现对图像的放大。FSRCNN增加了非线性映射层的数量，但是重建图像依然仅来源于非线性映射模块的单一映射，特征的利用率较低。

Figure  2.  Full-Size Img PowerPoint

Structure of FSRCNN^[20]

2.3   基于DenseNet的图像超分辨率重建

Tong等^[22]将稠密连接结构应用到了图像超分辨率重建问题中，提出了SRDenseNet，原文中设计了三种结构并做了比较，如图 3所示。图 3(a)模型将最顶层稠密块的输出作为反卷积层的输入。图 3(b)模型将底层卷积神经网络提取的特征和最顶层稠密块的输出作为反卷积层的输入。图 3(c)模型将最底层卷积神经网络提取的特征和每一个稠密块的输出作为后续每一个稠密块的输入。由于把所有稠密块的输出都进行了串联，增加了计算量，因此在反卷积层前添加了一个卷积核为1×1的瓶颈层来进行降维。

Figure  3.  Full-Size Img PowerPoint

Structure of SRDenseNet^[22]

近几年来随着卷积神经网络快速发展，各种优秀的模型层出不穷，比如GoogleNet、VGGNet、ResNet等。但是随着卷积神经网络的加深，训练过程中的前向传播信号和梯度信号在经过很多层之后可能会逐渐消失，该问题在Highway Network和ResNet中得到了较好的解决。稠密连接的卷积神经网络(densely connected convolutional networks，DenseNet)同样可以解决上述问题，并且实现了特征的复用，极大程度上提高了特征的利用率。

3.   基于多尺度特征损失的图像超分辨重建方法

3.1   本文模型

在图像超分辨率重建问题中采用传统的均方误差作为损失函数能获得较好的PSNR，在SRCNN、FSRCNN、SRDenseNet以及一些其它的网络模型中得到了广泛的应用。但是重建后的图像容易出现边缘模糊或者过于平滑的问题，本文提出的多尺度特征损失函数在一定程度上能改善这一问题。通过对SRCNN、FSRCNN以及SRDenseNet等方法的分析，以DenseNet模型为基本框架搭建重建模型，并在重建模型后串联了一个3层的卷积神经网络用以计算多尺度特征损失函数，模型结构如图 4所示。重建模型由稠密连接块、降维层、反卷积层以及重建层四个部分组成。每个稠密连接块由4个卷积层组成，均采用3×3的卷积核，输出的特征图数量均为256。由于将所有稠密连接块的输出都进行了串联，为减少计算负担，在降维层通过1×1卷积核将特征图减少到256。在SRCNN中，将输入图像进行双三次插值的预处理，导致图像的细节丢失，不利于特征的提取，本文模型直接使用原始图像作为输入，然后利用反卷积层进行上采样，恢复出特定尺寸大小的图像。在反卷积层之后通过3×3卷积核重建出单通道高清图像。最后对重建后的图像和对应的原始高清图像通过串联的3层卷积神经网络进行特征提取，计算重建图像卷积得到的特征图与原始高清图像卷积得到的特征图之间的均方误差，多尺度特征损失函数的计算过程可定义为

Figure  4.  Full-Size Img PowerPoint

Image super-resolution reconstruction model based on multi-scale feature loss function

其中：x为重建后的图像，x'为对应的原始高清图像，${F^i}(x)$为重建图像经过第i层卷积层后提取的特征，同理${F^i}(x')$为对应的原始高清图像经过第i层卷积层后提取的特征，L为串联的卷积神经网络的卷积层数量，本文中L=3。

为了达到更好的重建质量，本文的网络模型并没有池化层。池化层经常被用于图像分类的神经网络中，对卷积后的结果进行下采样，以此来减少参数，从而得到旋转、伸缩、平移等不变性质。在超分辨率重建技术中希望能够增加图像的细节信息，使其具有更加丰富的高频信息，池化层则会使得卷积后的细节信息丢失，不利于重建。

3.2   激活函数PReLu和ReLu

ReLu将0作为阈值，相比于Sigmoid和tanh激活函数，ReLu激活函数在梯度下降上有更快的收敛速度，并且在一定程度上能抑制梯度消失现象。但是不足之处在于ReLu强行将负数置零的性质可能会导致相关特征丢失。

针对上述问题，本文采用PReLu(parametric rectified linear unit，用${f_{{\rm{PReLu}}}}$表示)作为激活函数，PReLu激活函数由He等^[24]提出，在ReLu上进行了改进，是一种带参数的修正线性单元：

从式(3)和式(4)可以发现，PReLu比ReLu多了一个参数a_i。一般a_i是一个非常小的固定值(比如a_i=0.01)，如果a_i=0，那么PReLu就是ReLu。采用PReLu作为激活函数不但可以保留ReLu加速收敛的优势，同时也能防止特征的丢失。

SRCNN采用修正线性单元ReLu(rectified linear unit，ReLu)来作为激活函数(用${f_{{\rm{ReLu}}}}$表示)：

3.3   图像质量评价指标PSNR和SSIM

其中：n为每像素的比特数，一般的灰度图像取8，即像素灰阶数为256，MSE为当前图像X和参考图像Y的均方误差(用${e_{{\rm{MSE}}}}$表示)：

其中：C₁、C₂、C₃设置为常数，目的是为了避免分母为0的情况，一般取${C_1} = {({K_1} \times L)^2}$，${C_2} = {({K_2} \times L)^2}$，${C_3} = {C_2}/2$，通常设置常数K₁=0.01，K₂=0.03，L=255。${\mu _X}$和${\mu _Y}$分别表示图像X和Y的均值：

${\sigma _{XY}}$则表示图像X和Y的协方差：

根据式(7)至式(9)可以写出SSIM的公式：

本文利用峰值信噪比(peak signal to noise ratio，PSNR，用${R_{{\rm{PSNR}}}}$表示)和结构相似性(structural similarity，SSIM，用${S_{{\rm{SSIM}}}}$表示)这两个客观评价指标来对重建图像进行质量评价。PSNR用于对处理后的结果和原图相比的误差进行计算，PSNR值越大，说明失真越小，单位为dB，其计算式：

${\sigma _X}$和${\sigma _Y}$分别表示图像X和Y的方差：

结构相似性的取值范围在[0, 1]，其值越大，表示图像失真越小。它分别从亮度、对比度、结构三方面度量图像结构相似性：

4.   实验及结果分析

4.1   实验说明

本文实现步骤主要分为五个部分：1)训练所需的外部图像库的建立；2)搭建网络模型；3)利用建立的外部图像库进行训练，不断优化网络参数，得到输入图像的特征表达和先验信息；4)将LR图像重建得到HR图像；5)将重建图像以及对应的原始高清图像输入串联的卷积神经网络进行不同尺度特征的提取，计算重建图像卷积得到的特征与原始高清图像卷积得到的特征的均方误差。

本文实验采用操作系统为Windows10(64位)，64 GB运行内存，NVIDIA GeForce 1080Ti GPU。使用的深度学习框架为Tensorflow，使用的编程语言为Python3.5。设置dropout=0.5，选择优化器为Adam，采用初始的学习率为0.0002。

训练数据集方面，本文实验采用著名的Yang用过的91张和Dong用过的200张Berkeley Segmentation Dataset作为网络模型的训练样本，合计291张图像。考虑到卷积神经网络的训练依赖于大量的数据样本，为了保证样本的充足，需要对原291张训练样本进行适当的扩充。首先对原样本集进行左右和上下翻转，得到比原先多4倍的训练样本集，即291+(291×4)=1455张训练样本。然后再对原样本进行尺寸变化，分别放大2倍、3倍、4倍，并且对放大后的图像进行180°镜像变换，即291×2×3=1746，总共合计1455+1746=3201张训练样本。测试集选用超分辨率研究领域标准测评数据集Set5、Set14、BSD100，一共119张测试样本，并利用PSNR和SSIM进行客观指标的评价，有效地展示算法的实验效果。

4.2   结果分析

Figure  9.  Full-Size Img PowerPoint

The loss function curves of our method in training set and test set

Figure  7.  Full-Size Img PowerPoint

Reconstruction results of each algorithm for zebra amplification by 3 times. (a) Original; (b) Bicubic; (c) SRCNN; (d) DnCNN-3; (e) Our method

Figure  5.  Full-Size Img PowerPoint

The reconstructed results based on the DenseNet reconstruction model and the traditional mean square error as the loss function are compared with the method in this paper

利用扩充后的数据集Yang91和BSD200训练本文网络模型，表 1列出了基于插值的Bicubic方法，经典的深度学习算法SRCNN，结合残差学习的DnCNN-3算法^[25]，使用本文基于DenseNet重建模型(不包括串联的卷积神经网络)的算法以及基于多尺度特征损失函数的方法，分别在测试集Set5、Set14、BSD100上的平均PSNR和SSIM数值。

图 9给出了本文方法在训练集和测试集上的损失函数变化曲线。从图中可知，训练集的损失函数变化曲线存在一定程度的震荡，但是随着训练的进行，损失曲线逐渐趋于收敛，模型得到优化，震荡现象也得到改善，而测试集中损失函数曲线已十分平滑。并且测试集的损失函数曲线略微小于训练集的损失函数曲线，说明模型能够较好地预防过拟合问题，即不存在模型在训练集上表现过于优越而在测试集上表现不佳的问题。

本文提出的模型主要由基于DenseNet的重建模型以及用来优化多尺度特征损失函数的卷积神经网络两个部分组成。图 5展示了使用本文提出的基于DenseNet重建模型(不包括串联的卷积神经网络)和传统的均方误差作为损失函数重建得到的效果图与使用多尺度特征损失函数得到的效果图对比。通过观察图 5可知，采用本文提出的多尺度特征损失函在一定程度上能够改善重建图像的模糊问题，提升图像在细节方面的重建效果。图 6至图 8分别展示了本文方法和Bicubic、SRCNN、DnCNN-3以及原始高清图像的对比。

Figure  6.  Full-Size Img PowerPoint

Reconstruction results of each algorithm for butterfly amplification by 2 times. (a) Original; (b) Bicubic; (c) SRCNN; (d) DnCNN-3; (e) Our method

Figure  8.  Full-Size Img PowerPoint

Reconstruction results of each algorithm for PPT amplification by 4 times. (a) Original; (b) Bicubic; (c) SRCNN; (d) DnCNN-3; (e) Our method

5.   结论

本文在基于DenseNet的图像超分辨率重建方法的基础上加以扩展，对传统的均方误差损失函数进行改性，在重建模型后额外串联一个卷积神经网络用来计算重建图像与对应的原始高清图像在卷积后得到不同尺度特征图的均方误差，以此来优化整个网络从底层特征到高层特征的学习。最后通过实验证明了本文的方法在主观视觉效果和客观图像质量评价指标上均有所改善和提高。由于本文采用上采样的方式来放大图像尺寸，在放大倍数较大时，本文的方法略显不足，在今后的研究中需要解决。