(12)发明专利申请
(10)申请公布号 CN 111915506 A(43)申请公布日 2020.11.10
(21)申请号 202010566369.4(22)申请日 2020.06.19
(71)申请人 西安电子科技大学
地址 710000 陕西省西安市雁塔区太白南
路2号(72)发明人 赖睿 石晓鹏 官俊涛 李跃进
李奕诗 徐昆然 (74)专利代理机构 西安嘉思特知识产权代理事
务所(普通合伙) 61230
代理人 李园园(51)Int.Cl.
G06T 5/00(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)G06K 9/62(2006.01)
权利要求书2页 说明书12页 附图5页
(54)发明名称
一种序列图像条带噪声消除方法
(57)摘要
本发明公开了一种序列图像条带噪声消除方法，包括：利用三维卷积构建序列图像时空关联信息提取模块；利用二维卷积构建图像二维重建模块；根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；创建序列图像训练集；利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。该序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到原始卷积神经网络中，可以通过学习帧间相似信息更好地预测噪声。
CN 111915506 ACN 111915506 A
权 利 要 求 书
1/2页
1.一种序列图像条带噪声消除方法，其特征在于，所述方法包括：S1：利用三维卷积构建序列图像时空关联信息提取模块；S2：利用二维卷积构建图像二维重建模块；S3：根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；
S4：创建序列图像训练集；S5：利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；
S6：将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。
2.根据权利要求1所述的序列图像条带噪声消除方法，其特征在于，所述序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层，其中，所述空间维卷积包括第一三维卷积层和第一激活层，所述时间维卷积包括第二三维卷积层和第二激活层，所述融合层包括第三三维卷积层和第三激活层，所述降维层的表达式为：
Y1_squ＝squeeze(Y1_32)其中，Y1_32是所述第三激活层的输出图像，squeeze表示对序列图像时间维度的提取，Y1_squ是所述降维层的输出图像。
3.根据权利要求2所述的序列图像条带噪声消除方法，其特征在于，所述第一三维卷积层的卷积核大小为1*3*3，输出通道为64；所述第二三维卷积层的卷积核大小为3*1*1，输出通道为64；所述第三三维卷积层的卷积核大小为5*1*1，输出通道为64。
4.根据权利要求2所述的序列图像条带噪声消除方法，其特征在于，所述图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层，其中，
所述第一重建模块包括依次连接的多个二维卷积层和多个激活层；所述第二重建模块包括依次连接的多个二维卷积层和多个激活层；所述输出卷积层包括一个二维卷积层；所述升维层的输入为输出卷积层的输出，表达式为：Y＝expand(X)其中，X为所述升维层的输入，expand表示对输入的时间维度的扩充，Y为所述升维层的输出；
所述残差层的输出为所述升维层的输出与所述初始卷积神经网络输入的差。5.根据权利要求4所述的序列图像条带噪声消除方法，其特征在于，所述第一重建模块包括依次连接的第一二维卷积层、第四激活层、第二二维卷积层、第五激活层、第三二维卷积层、第六激活层、第四二维卷积层和第七激活层；
所述第二重建模块包括依次连接的第五二维卷积层、第八激活层、第六二维卷积层、第九激活层、第七二维卷积层、第十激活层、第八二维卷积层、第十一激活层、第九二维卷积层、第十二激活层、第十二维卷积层、第十三激活层、第十一二维卷积层、第十四激活层、第十二二维卷积层、第十五激活层、第十三二维卷积层、第十六激活层、第十四二维卷积层、第十七激活层、第十五二维卷积层、第十八激活层、第十六二维卷积层、第十九激活层、第十七二维卷积层、第二十激活层、第十八二维卷积层、第二十一激活层、第十九二维卷积层和第
2
CN 111915506 A
权 利 要 求 书
2/2页
二十二激活层。
6.根据权利要求1所述的序列图像条带噪声消除方法，其特征在于，所述S3包括：将所述序列图像时序信息提取模块和所述图像二维重建模块依次连接，构成所述初始卷积神经网络。
7.根据权利要求1所述的序列图像条带噪声消除方法，其特征在于，所述S4包括：获取多组高清视频，将每组高清视频截取为图像帧，从每组图像帧中选取连续的多帧序列图像作为初始序列图像集；
对所述初始序列图像集进行同一灰度化、随机旋转、裁剪以及添加条带噪声，生成序列图像训练集。
8.根据权利要求1至7中任一项所述的序列图像条带噪声消除方法，其特征在于，所述S5包括：
采用均方误差作为损失函数，使用自适应矩估计优化器对所述卷积神经网络进行训练，所述均方误差的表达式为：
其中，F为重构图像，即经卷积神经网络处理的去噪图像，U为未添加噪声的原始图像，m和i分别代表图像的行和列。
3
CN 111915506 A
说 明 书
一种序列图像条带噪声消除方法
1/12页
技术领域
[0001]本发明属于数字图像处理技术领域，具体涉及一种序列图像条带噪声消除方法。背景技术
[0002]图像传感器由于制造工艺的限制和环境的影响，在成像过程中会产生条纹状的固定模式噪声，从而严重影响了图像信噪比。特别是在红外或高光谱成像系统中，图像因条带噪声的污染而大量丢失图像细节，从而对后续的目标检测识别带来巨大困难。鉴于制造工艺的改进周期长、投入大，因此，基于信号处理的图像复原技术对消除图像条带噪声还原原始场景信息具有重要价值。
[0003]传统的图像去噪算法利用图像先验模型进行去噪，比如非局部自相似模型、梯度模型、稀疏字典模型与马尔科夫随机场模型。经典的三维块匹配(BM3D)算法及其变体对彩色图像的扩展CBM3D，其主要思想是基于三维非局部相似块匹配。三维非局部相似块匹配与传统的非局部平均思想(NLM)不同，其采用硬阈值线性变换来寻找相似块，然后用联合滤波的方法对这些三维数组进行处理，最后通过逆变换把处理后的结果返回到原图像中，从而得到去噪后的图像。传统的图像去噪算法通常在处理优化问题上比较复杂，去噪过程中往往涉及繁琐的调参，且在噪声去除和细节保留方面的效果也不尽如人意。[0004]近年来，卷积神经网络(CNN)不断应用到图像处理中，很多学者已经开发研究了许多用于图像去噪的卷积神经网络模型并取得不错的效果。2017年，Zhang等提出了一种深度残差网络(DnCNN)用于去除图像中的高斯噪声。DnCNN不对图像本身进行学习，而是以输出与噪声的L2范数为损失函数来训练网络，并且在该网络中引入BN层以解决深层网络无法收敛的问题。通过实验结果对比，DnCNN在不同噪声水平是的去噪效果优于BM3D等算法模型。2018年，Xiao等提出了一种十层的残差网络(ICSRN)用于去除图像中的条带噪声，该网络通过对网络层进行拼接以得到更多的特征表示，ICSRN对条带噪声的去除取得了一定效果，但在细节恢复方面仍需提高。目前，图像去噪领域已经取得了很大发展，各种卷积神经网络模型被不断提出，但都普遍存在噪声残留严重、细节恢复效果差等问题。发明内容
[0005]为了解决现有技术中存在的上述问题，本发明提供了一种序列图像条带噪声消除方法。本发明要解决的技术问题通过以下技术方案实现：[0006]本发明提供了一种序列图像条带噪声消除方法，所述方法包括：[0007]S1：利用三维卷积构建序列图像时空关联信息提取模块；[0008]S2：利用二维卷积构建图像二维重建模块；[0009]S3：根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；[0010]S4：创建序列图像训练集；[0011]S5：利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的
4
CN 111915506 A
说 明 书
2/12页
卷积神经网络；[0012]S6：将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。
[0013]在本发明的一个实施例中，所述序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层，其中，所述空间维卷积包括第一三维卷积层和第一激活层，所述时间维卷积包括第二三维卷积层和第二激活层，所述融合层包括第三三维卷积层和第三激活层，所述降维层的表达式为：[0014]Y1_squ＝squeeze(Y1_32)[0015]其中，Y1_32是所述第三激活层的输出图像，squeeze表示对序列图像时间维度的提取，Y1_squ是所述降维层的输出图像。[0016]在本发明的一个实施例中，所述第一三维卷积层的卷积核大小为1*3*3，输出通道为64；所述第二三维卷积层的卷积核大小为3*1*1，输出通道为64；所述第三三维卷积层的卷积核大小为5*1*1，输出通道为64。[0017]在本发明的一个实施例中，所述图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层，其中，
[0018]所述第一重建模块包括依次连接的多个二维卷积层和多个激活层；[0019]所述第二重建模块包括依次连接的多个二维卷积层和多个激活层；[0020]所述输出卷积层包括一个二维卷积层；[0021]所述升维层的输入为输出卷积层的输出，表达式为：[0022]Y＝expand(X)[0023]其中，X为所述升维层的输入，expand表示对输入的时间维度的扩充，Y为所述升维层的输出；
[0024]所述残差层的输出为所述升维层的输出与所述初始卷积神经网络输入的差。[0025]在本发明的一个实施例中，所述第一重建模块包括依次连接的第一二维卷积层、第四激活层、第二二维卷积层、第五激活层、第三二维卷积层、第六激活层、第四二维卷积层和第七激活层；
[0026]所述第二重建模块包括依次连接的第五二维卷积层、第八激活层、第六二维卷积层、第九激活层、第七二维卷积层、第十激活层、第八二维卷积层、第十一激活层、第九二维卷积层、第十二激活层、第十二维卷积层、第十三激活层、第十一二维卷积层、第十四激活层、第十二二维卷积层、第十五激活层、第十三二维卷积层、第十六激活层、第十四二维卷积层、第十七激活层、第十五二维卷积层、第十八激活层、第十六二维卷积层、第十九激活层、第十七二维卷积层、第二十激活层、第十八二维卷积层、第二十一激活层、第十九二维卷积层和第二十二激活层。
[0027]在本发明的一个实施例中，所述S3包括：
[0028]将所述序列图像时序信息提取模块和所述图像二维重建模块依次连接，构成所述初始卷积神经网络。
[0029]在本发明的一个实施例中，所述S4包括：[0030]获取多组高清视频，将每组高清视频截取为图像帧，从每组图像帧中选取连续的多帧序列图像作为初始序列图像集；
5
CN 111915506 A[0031]
说 明 书
3/12页
对所述初始序列图像集进行同一灰度化、随机旋转、裁剪以及添加条带噪声，生成
序列图像训练集。
[0032]在本发明的一个实施例中，所述S5包括：[0033]采用均方误差作为损失函数，使用自适应矩估计优化器对所述卷积神经网络进行训练，所述均方误差的表达式为：
[0034]
其中，F为重构图像，即经卷积神经网络处理的去噪图像，U为未添加噪声的原始图像，m和i分别代表图像的行和列。[0036]与现有技术相比，本发明的有益效果在于：[0037]1、本发明的序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到卷积神经网络中，构造带有序列图像时空关联信息提取模块的卷积神经网络，不仅能够提取图像空间维度的信息，也能够提取图像帧与帧之间的运动信息，可以通过学习帧间相似信息，更好地预测噪声，并且可以获得更多的信息进行后续的噪声估计与图像场景细节的恢复，从而解决图像去噪过程中的细节丢失问题。[0038]2、本发明的方法采用端到端卷积神经网络直接生成去噪图像，避免了不同图像需要不断调参的麻烦。
[0039]以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0040]图1是本发明实施例提供的一种序列图像条带噪声消除方法的流程图；[0041]图2a是本发明提供的一种序列图像时空关联信息提取模块的结构示意图；[0042]图2b是本发明提供的一种序列图像时空关联信息提取模块的网络结构示意图；[0043]图3a是本发明提供的一种图像二维重建模块的结构示意图；[0044]图3b是本发明提供的一种图像二维重建模块的网络结构示意图；
[0045]图4是本发明实施例提供的一种序列图像条带噪声消除方法的卷积神经网络模型的示意图；
[0046]图5a是本发明仿真实验所使用的实际卫星图像；[0047]图5b是图5a的实际卫星图像的噪声图，噪声水平为16.74dB；[0048]图5c是基于DnCNN的方法、基于ICSRN的方法和本发明实施例方法的去噪效果对比图。
具体实施方式
[0049]为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种序列图像条带噪声消除方法进行详细说明。
[0050]有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所
[0035]
6
CN 111915506 A
说 明 书
4/12页
采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。[0051]应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。[0052]请参见图1，图1是本发明实施例提供的一种序列图像条带噪声消除方法的流程图。该序列图像条带噪声消除方法包括：[0053]S1：利用三维卷积构建序列图像时空关联信息提取模块；[0054]请参见图2a和图2b，图2a是本发明提供的一种序列图像时空关联信息提取模块的结构示意图；图2b是本发明提供的一种序列图像时空关联信息提取模块的网络结构示意图。如图所示，该序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层。[0055]具体地，空间维卷积由第一三维卷积层和第一激活层连接而成，其中，第一三维卷积层的卷积核大小为1*3*3，输出通道为64，第一三维卷积层的表达式为：[0056]Y1_11＝K1_1*X1+B1_1[0057]其中，X1为输入序列图像，大小为t*h*w*c，t是输入序列图像的时间维度大小，h，w分别是输入序列图像的高和宽，c是输入序列图像的通道数，Y1_11是第一三维卷积层的输出图像，大小为t*h*w*64，K1_1是大小为1*3*3*c*64的卷积核，B1_1是偏置，是一个64*1的列向量。[0058]第一激活层为修正线性单元(Rectified Linear Unit，简称ReLU)激活层，第一激活层用于增加第一三维卷积层输出结果的稀疏性，可以去除第一三维卷积层输出结果的冗余数据，最大可能地保留输出结果的特征，第一激活层的表达式为：[0059]Y1_12＝max(0,Y1_11)[0060]其中，max表示取最大值，Y1_12为第一激活层的输出图像，Y1_11是第一激活层的输入图像。
[0061]时间维卷积由第二三维卷积层和第二激活层连接而成，其中，第二三维卷积层的卷积核大小为3*1*1，输出通道为64，第二三维卷积层的表达式为：[0062]Y1_21＝K1_2*Y1_12+B1_2[0063]其中，Y1_12是时间维卷积的输入图像，大小为t*h*w*64，Y1_21是第二三维卷积层的输出图像，大小为t*h*w*64，K1_2是大小为3*1*1*c*64的卷积核，B1_2是偏置，是一个64*1的列向量。
[0064]第二激活层为ReLU激活层，其表达式为：[0065]Y1_22＝max(0,Y1_21)[0066]其中，max表示取最大值，Y1_22为第二激活层的输出图像，Y1_21为第二激活层的输入图像。
[0067]融合层由第三三维卷积层和第三激活层连接而成。第三三维卷积层的卷积核大小
7
CN 111915506 A
说 明 书
5/12页
为5*1*1，输出通道为64，第三三维卷积层的表达式为：[0068]Y1_31＝K1_3*Y1_22+B1_3[0069]其中，Y1_22是第三三维卷积层的输入图像，大小为t*h*w*64，Y1_31是第三三维卷积层的输出图像，大小为1*h*w*64，K1_3是大小为5*1*1*c*64的卷积核，B1_3是偏置，是一个64*1的列向量。
[0070]第三激活层为ReLU激活层，其表达式为：[0071]Y1_32＝max(0,Y1_31)[0072]其中，max表示取最大值，Y1_32为第三激活层的输出图像，Y1_31是第三激活层的输入图像。
[0073]进一步地，降维层的表达式为：[0074]Y1_squ＝squeeze(Y1_32)[0075]其中，squeeze表示对序列图像时间维度的提取，Y1_32是第三激活层的输出图像，大小为1*h*w*c*64，Y1_squ是降维层的输出图像，也是序列图像时序信息提取模块的输出图像，大小为h*w*64。[0076]S2：利用二维卷积构建图像二维重建模块；[0077]请参见图3a和图3b，图3a是本发明提供的一种图像二维重建模块的结构示意图；图3b是本发明提供的一种图像二维重建模块的网络结构示意图。该图像二维重建模块包括依次连接的第一重建模块、第二重建模块、输出卷积层、升维层和残差层。[0078]本实施例的第一重建模块包括依次连接的第一二维卷积层、第四激活层、第二二维卷积层、第五激活层、第三二维卷积层、第六激活层、第四二维卷积层和第七激活层。[0079]第一二维卷积层的卷积核大小为7*7，输出通道为64，第一二维卷积层的表达式为：
[0080]Y2_11＝K2_11*X2+B2_11[0081]其中，X2是第一二维卷积层的输入图像，大小为h*w*c，h，w分别是输入图像的高和宽，c是输入图像的通道数，Y2_11是第一二维卷积层的输出图像，大小为h*w*64，K2_11是大小为7*7*c*64的卷积核，B2_11是偏置，是一个64*1的列向量。第四激活层为ReLU激活层，其表达式为：
[0082]Y2_12＝max(0,Y2_11)[0083]其中，max表示取最大值，Y2_12为第四激活层的输出图像，Y2_11是第四激活层的输入图像。[0084]第二二维卷积层的卷积核大小为7*7，输出通道为64，第二二维卷积层的表达式为：
[0085]Y2_21＝K2_21*Y2_12+B2_21[0086]其中，Y2_12是第二二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_21是第二二维卷积层的输出图像，大小为h*w*64，K2_21是大小为7*7*64*64的卷积核，B2_21是偏置，是一个64*1的列向量。第五激活层为ReLU激活层，其表达式为：[0087]Y2_22＝max(0,Y2_21)[0088]其中，max表示取最大值，Y2_22为第五激活层的输出图像，Y2_21是第五激活层的输入图像。
8
CN 111915506 A[0089]
说 明 书
6/12页
第三二维卷积层的卷积核大小为7*7，输出通道为64，第三二维卷积层的表达式
为：
Y2_31＝K2_31*Y2_22+B2_31
[0091]其中，Y2_22是第三二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_31是第三二维卷积层的输出图像，大小为h*w*64，K_31是大小为7*7*64*64的卷积核，B_31是偏置，是一个64*1的列向量。第六激活层为ReLU激活层，其表达式为：[0092]Y2_32＝max(0,Y2_31)[0093]其中，max表示取最大值，Y2_32为第六激活层的输出图像，Y2_31是第六激活层的输入图像。[0094]第四二维卷积层的卷积核大小为3*3，输出通道为64，第四二维卷积层的表达式为：
[0095]Y2_41＝K2_41*(concat(Y2_12,Y2_22,Y2_32))+B2_31其中，concat(Y2_12,Y2_22,Y2_32)是Y2_12,Y2_22,Y2_32在通道维的拼接，大小为h*w*192，h，w分别是输入图像的高和宽，Y2_41是第四二维卷积层的输出图像，大小为h*w*64，K2_31是大小为3*3*192*64的卷积核，B_41是偏置，是一个64*1的列向量。第七激活层为ReLU激活层，其表达式为：[0096]Y2_42＝max(0,Y2_41)[0097]其中，max表示取最大值，Y2_42为第七激活层的输出图像，Y2_41是第七激活层的输入图像。
[0098]进一步地，第二重建模块由多个二维卷积层和多个激活层依次连接而成。本实施例的第二重建模块包括依次连接的第五二维卷积层、第八激活层、第六二维卷积层、第九激活层、第七二维卷积层、第十激活层、第八二维卷积层、第十一激活层、第九二维卷积层、第十二激活层、第十二维卷积层、第十三激活层、第十一二维卷积层、第十四激活层、第十二二维卷积层、第十五激活层、第十三二维卷积层、第十六激活层、第十四二维卷积层、第十七激活层、第十五二维卷积层、第十八激活层、第十六二维卷积层、第十九激活层、第十七二维卷积层、第二十激活层、第十八二维卷积层、第二十一激活层、第十九二维卷积层和第二十二激活层。
[0099]具体地，第五二维卷积层的卷积核大小为3*3，输出通道为64，第五二维卷积层的表达式为：
[0100]Y2_51＝K2_51*Y2_42+B2_51[0101]其中，Y2_42是第五二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y_51是第五二维卷积层的输出图像，大小为h*w*64，K2_51是大小为3*3*64*64的卷积核，B2_51是偏置，是一个64*1的列向量。第八激活层为ReLU激活层，其表达式为：[0102]Y2_52＝max(0,Y2_51)[0103]其中，max表示取最大值，Y2_52为第八激活层的输出图像，Y2_51是第八激活层的输入图像。[0104]第六二维卷积层的卷积核大小为3*3，输出通道为64，第六二维卷积层的表达式为：
[0105]Y2_61＝K2_61*Y2_52+B2_61[0106]其中，Y2_52是第六二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的
9
[0090]
CN 111915506 A
说 明 书
7/12页
高和宽Y2_61是第六二维卷积层的输出图像，大小为h*w*64，K2_61是大小为3*3*64*64的卷积核，B2_61是偏置，是一个64*1的列向量。第九激活层为ReLU激活层，其表达式为：[0107]Y2_62＝max(0,Y2_61)[0108]其中，max表示取最大值，Y2_62为第九激活层的输出图像，Y2_61是第九激活层的输入图像。[0109]第七二维卷积层的卷积核大小为3*3，输出通道为64，第七二维卷积层的表达式为：
[0110]Y2_71＝K2_71*Y2_62+B2_71[0111]其中，Y2_62是第七二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_71是第七二维卷积层的输出图像，大小为h*w*64，K2_71是大小为3*3*64*64的卷积核，B2_71是偏置，是一个64*1的列向量。第十激活层为ReLU激活层，其表达式为：[0112]Y2_72＝max(0,Y2_71)[0113]其中，max表示取最大值，Y2_72为第十激活层的输出图像，Y2_71是第十激活层的输入图像。
[0114]第八二维卷积层的卷积核大小为3*3，输出通道为64，第八二维卷积层的表达式为：
[0115]Y2_81＝K2_81*Y2_72+B2_81[0116]其中，Y2_72是第八二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_81是第八二维卷积层的输出图像，大小为h*w*64，K2_81是大小为3*3*64*64的卷积核，B2_81是偏置，是一个64*1的列向量。第十一激活层为ReLU激活层，其表达式为：[0117]Y2_82＝max(0,Y2_81)[0118]其中，max表示取最大值，Y2_82为第十一激活层的输出图像，Y2_81是第十一激活层的输入图像。
[0119]第九二维卷积层的卷积核大小为3*3，输出通道为64，第九二维卷积层的表达式为：
[0120]Y2_91＝K2_91*Y2_82+B2_91[0121]其中，Y2_82是第九二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_91是第九二维卷积层的输出图像，大小为h*w*64，K2_91是大小为3*3*64*64的卷积核，B2_91是偏置，是一个64*1的列向量。第十二激活层为ReLU激活层，其表达式为：[0122]Y2_92＝max(0,Y2_91)[0123]其中，max表示取最大值，Y2_92为第十二激活层的输出图像，Y2_91是第十二激活层的输入图像。[0124]第十二维卷积层的卷积核大小为3*3，输出通道为64，第十二维卷积层的表达式为：
[0125]Y2_101＝K2_101*Y2_92+B2_101[0126]其中，Y2_92是第十二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_101是第十二维卷积层的输出图像，大小为h*w*64，K2_101是大小为3*3*64*64的卷积核，B2_101是偏置，是一个64*1的列向量。第十三激活层为ReLU激活层，其表达式为：[0127]Y2_102＝max(0,Y2_101)
10
CN 111915506 A[0128]
说 明 书
8/12页
其中，max表示取最大值，Y2_102为第十三激活层的输出图像，Y2_101是第十三激
活层的输入图像。[0129]第十一二维卷积层的卷积核大小为3*3，输出通道为64，第十一二维卷积层的表达式为：
[0130]Y2_111＝K2_111*Y2_102+B2_111[0131]其中，Y2_102是第十一二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_111是第十一二维卷积层的输出图像，大小为h*w*64，K2_111是大小为3*3*64*64的卷积核，B2_111是偏置，是一个64*1的列向量。第十四激活层为ReLU激活层，其表达式为：
[0132]Y2_112＝max(0,Y2_111)[0133]其中，max表示取最大值，Y2_112为第十四激活层的输出图像，Y2_111是第十四激活层的输入图像。
[0134]第十二二维卷积层的卷积核大小为3*3，输出通道为64，第十二二维卷积层的表达式为：
[0135]Y2_121＝K2_121*Y2_112+B2_121[0136]其中，Y2_112是第十二二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_121是第十二二维卷积层的输出图像，大小为h*w*64，K2_121是大小为3*3*64*64的卷积核，B2_121是偏置，是一个64*1的列向量。第十五激活层为ReLU激活层，其表达式为：
[0137]Y2_122＝max(0,Y2_121)[0138]其中，max表示取最大值，Y2_122为第十五激活层的输出图像，Y2_121是第十五激活层的输入图像。
[0139]第十三二维卷积层的卷积核大小为3*3，输出通道为64，第十三二维卷积层的表达式为：
[0140]Y2_131＝K2_131*Y2_122+B2_131[0141]其中，Y2_122是第十三二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_131是第十三二维卷积层的输出图像，大小为h*w*64，K2_131是大小为3*3*64*64的卷积核，B2_131是偏置，是一个64*1的列向量。第十六激活层为ReLU激活层，其表达式为：
[0142]Y2_132＝max(0,Y2_131)[0143]其中，max表示取最大值，Y2_132为第十六激活层的输出图像，Y2_131是第十六激活层的输入图像。
[0144]第十四二维卷积层的卷积核大小为3*3，输出通道为64，第十四二维卷积层的表达式为：
[0145]Y2_141＝K2_141*Y2_132+B2_141[0146]其中，Y2_132是第十四二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_141是第十四二维卷积层的输出图像，大小为h*w*64，K2_141是大小为3*3*64*64的卷积核，B2_141是偏置，是一个64*1的列向量。第十七激活层为ReLU激活层，其表达式为：
11
CN 111915506 A[0147]
说 明 书
9/12页
Y2_142＝max(0,Y2_141)
[0148]其中，max表示取最大值，Y2_142为第十七激活层的输出图像，Y2_141是第十七激活层的输入图像。
[0149]第十五二维卷积层的卷积核大小为3*3，输出通道为64，第十五二维卷积层的表达式为：
[0150]Y2_151＝K2_151*Y2_142+B2_151[0151]其中，Y2_142是第十五二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_151是第十五二维卷积层的输出图像，大小为h*w*64，K2_151是大小为3*3*64*64的卷积核，B2_151是偏置，是一个64*1的列向量。第十八激活层为ReLU激活层，其表达式为：
[0152]Y2_152＝max(0,Y2_151)[0153]其中，max表示取最大值，Y2_152为第十八激活层的输出图像，Y2_151是第十八激活层的输入图像。
[0154]第十六二维卷积层的卷积核大小为3*3，输出通道为64，第十六二维卷积层的表达式为：
[0155]Y2_161＝K2_161*Y2_152+B2_161[0156]其中，Y2_152是第十六二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_161是第十六二维卷积层的输出图像，大小为h*w*64，K2_161是大小为3*3*64*64的卷积核，B_161是偏置，是一个64*1的列向量。第十九激活层为ReLU激活层，其表达式为：
[0157]Y2_162＝max(0,Y2_161)[0158]其中，max表示取最大值，Y2_162为第十九激活层的输出图像，Y2_161是第十九激活层的输入图像。
[0159]第十七二维卷积层的卷积核大小为3*3，输出通道为64，第十七二维卷积层的表达式为：
[0160]Y2_171＝K2_171*Y2_162+B2_171[0161]其中，Y2_162是第十七二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_171是第十七二维卷积层的输出图像，大小为h*w*64，K2_171是大小为3*3*64*64的卷积核，B2_171是偏置，是一个64*1的列向量。第二十激活层为ReLU激活层，其表达式为：
[0162]Y2_172＝max(0,Y2_171)[0163]其中，max表示取最大值，Y2_172为第二十激活层的输出图像，Y2_171是第二十激活层的输入图像。
[0164]第十八二维卷积层的卷积核大小为3*3，输出通道为64，第十八二维卷积层的表达式为：
[0165]Y2_181＝K2_181*Y2_172+B2_181[0166]其中，Y2_172是第十八二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_181是第十八二维卷积层的输出图像，大小为h*w*64，K2_181是大小为3*3*64*64的卷积核，B2_181是偏置，是一个64*1的列向量。第二十一激活层为ReLU激活层，其表
12
CN 111915506 A
说 明 书
10/12页
达式为：
[0167]Y2_182＝max(0,Y2_181)[0168]其中，max表示取最大值，Y2_182为第二十一激活层的输出图像，Y2_181是第二十一激活层的输入图像。
[0169]第十九二维卷积层的卷积核大小为3*3，输出通道为64，第十九二维卷积层的表达式为：
[0170]Y2_191＝K2_191*Y2_182+B2_191[0171]其中，Y2_182是第十九二维卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_191是第十九二维卷积层的输出图像，大小为h*w*64，K2_191是大小为3*3*64*64的卷积核，B2_191是偏置，是一个64*1的列向量。第二十二激活层为ReLU激活层，其表达式为：
[0172]Y2_192＝max(0,Y2_191)[0173]其中，max表示取最大值，Y2_192为第二十二激活层的输出图像，Y2_191是第二十二激活层的输入图像。[0174]进一步地，输出卷积层为一个二维卷积层，卷积核大小为3*3，输出通道为1，输出卷积层的表达式为：
[0175]Y2_201＝K2_201*Y2_192+B2_201[0176]其中，Y2_192是输出卷积层的输入图像，大小为h*w*64，h，w分别是输入图像的高和宽，Y2_201是输出卷积层的输出图像，大小为h*w*64，K2_191是大小为3*3*64*1的卷积核，B2_201是偏置，是一个64*1的列向量。[0177]升维层的输入为输出卷积层的输出，其公式为：[0178]Y＝expand(X)[0179]其中，X为升维层的输入，expand表示对输入的时间维度的扩充，Y为升维层的输出，大小为5*h*w*1。
[0180]残差层的输出为升维层的输出与网络输入的差，残差层的输出也是所述图像二维重建模块的输出。[0181]具体地，残差层的输出为整个网络的输出，输出的序列图像块大小为t*h*w*c，其中，t是序列图像时间维度大小，h和w是图像的高和宽，c是图像的通道数。[0182]S3：根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；[0183]具体地，请参见图4，图4是本发明实施例提供的一种序列图像条带噪声消除方法的卷积神经网络模型的示意图。将序列图像时序信息提取模块和图像二维重建模块依次连接，构成序列图像去噪的卷积神经网络。[0184]S4：创建序列图像训练集；
[0185]获取多组高清视频作为素材库，将每组视频截取为图像帧，从每组图像帧中选取连续的多帧序列图像作为初始序列图像集；对每组初始序列图像集进行同一灰度化、随机旋转、裁剪以及添加条带噪声，生成序列图像训练集。[0186]优选地，从网站上获取40组高清视频作为素材库，然后将每组视频截取为图像帧，从每组图像帧中选取连续的5帧序列图像作为初始序列图像集。
13
CN 111915506 A[0187]
说 明 书
11/12页
对每组连续的5帧序列图像进行同一灰度化、随机旋转、裁剪、加噪声。具体地，随
机选取某个像素点，以该像素点为中心，截取图像区域大小为50*50*3的区域，则5帧图像可截取为5*50*50*3大小的图像块。在每组初始序列图像集中随机截取2000个大小为5*50*50*3大小的图像块，40组初始序列图像集共截取80000*5*50*50*3大小的序列图像集。对该序列图像集进行灰度化处理，灰度化公式为：[0188]Gray＝0.299*R+0.587*G+0.114*B[0189]其中，R代表彩色图像R通道的像素值，G代表彩色图像G通道的像素值，B代表彩色图像B通道的像素值，Gray代表灰度图像的像素值。经过灰度处理后，序列图像集的大小为80000*5*50*50*1。最后，对80000*5*50*50*1大小的序列图像集中的每张图像都添加统一的条带噪声，条带噪声的方差大小随机为0到55，生成序列图像训练集。[0190]S5：利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；[0191]具体地，采用均方误差(Mean Square Error，MSE)作为损失函数，其表达式为：
[0192]
其中，F为重构图像，即经所述卷积神经网络处理的去噪图像，U为未添加噪声的原始图像，m和i分别代表图像的行和列。[0194]具体地，使用自适应矩估计(adaptive moment estimation，简称：Adam)优化器对卷积神经网络进行训练，其中，批尺寸(batch size)设置为128，学习率设为0.001，每隔10个回合学习率下降到当前学习率的10％，一共训练50个回合。该优化器能基于训练数据迭代地更新神经网络权重，避免了需要手动调整参数的麻烦。[0195]S6：利用所述训练后的卷积神经网络获取去噪后的图像。
[0196]将含条带噪声的序列图像送入训练后的卷积神经网络中进行处理，得到去噪后的图像。
[0197]具体地，取5帧序列图像，组成5维矩阵(即(b,t,h,w,c)，其中，b代表的是批次维，t为时间维，h和w代表图像的宽和高，c代表图像的通道数)，送入训练后的卷积神经网络中进行处理，得到去噪后的图像。[0198]接着，本发明实施例的序列图像条带噪声消除方法的效果可以通过以下仿真实验进一步说明。
[0199]仿真实验1，分别采用现有技术的基于DnCNN的方法、基于ICSRN的方法和本发明实施例的方法进行实验，并用基于峰值信噪比(PSNR)和结构相似度(SSIM)的评价标准来进行定量比较，实验结果见表1。[0200]表1评价标准对比表
[0193]
[0201]
[0202]
14
CN 111915506 A[0203]
说 明 书
12/12页
由表1可见，本发明实施例的方法相较于DnCNN和ICSRN方法，对图像进行去噪后，
得到PSNR值和SSIM值更大，说明图像去噪后的噪声残留更小，细节保持最好。[0204]仿真实验2，请参见图5a至图5c，图5a是本发明仿真实验所使用的实际卫星图像；图5b是图5a的实际卫星图像的噪声图，噪声水平为16.74dB；图5c是基于DnCNN的方法、基于ICSRN的方法和本发明实施例方法的去噪效果对比图。从图5b和图5c可以看出，在一个较大的噪声水平下图像绝大部分细节已经丢失，经过本发明方法处理后，绝大部分噪声已经被去除，图像的边缘更加锐利，细节更加丰富，更符合人眼观察。综上所述，本发明实施例提出的基于三维与二维联合卷积的序列图像条带噪声去除方法能够在噪声去除和细节保持方面均取得更好的效果。
[0205]本发明实施例的序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到卷积神经网络中，构造带有序列图像时空关联信息提取模块的卷积神经网络，不仅能够提取图像空间维度的信息，也能够提取图像帧与帧之间的运动信息，可以通过学习帧间相似信息，更好地预测噪声，并且可以获得更多的信息进行后续的噪声估计与图像场景细节的恢复，从而解决图像去噪过程中的细节丢失问题。该方法采用端到端卷积神经网络直接生成去噪图像，避免了不同图像需要不断调参的麻烦。
[0206]以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
15
CN 111915506 A
说 明 书 附 图
1/5页
图1
图2a
16
CN 111915506 A
说 明 书 附 图
2/5页
图2b
图3a
17
CN 111915506 A
说 明 书 附 图
3/5页
图3b
18
CN 111915506 A
说 明 书 附 图
4/5页
图4
19
CN 111915506 A
说 明 书 附 图
5/5页
图5a
图5b
图5c
20
因篇幅问题不能全部显示，请点此查看更多更全内容