《[SR in DL]深度学习的超分重建方法综述课件》由会员分享，可在线阅读，更多相关《[SR in DL]深度学习的超分重建方法综述课件（23页珍藏版）》请在金锄头文库上搜索。
1、SR in DL 综述,sina：CD_555,问题描述,距离,设备,模糊,降采样,任务描述,LR = HR,基于重建 配准对齐+求解LR-HR参数,基于学习 获得高频信息低频信息的映射关系,浅层学习 样本（特征）库构建+学习（搜索）+重建,深度学习,基于深度学习的方法,state-of-art,讲过啦,加深、 残差学习、 训练trick、 改进deconv、,前馈系列,SRCNN（2015cvpr）,香港中文大学 Dong 等率先将卷积神经网络引入到SR问题中 方法的主要思想: 以深度学习与传统稀疏编码之间的关系作为依据, 将网络分为 图像块提取、 非线性映射、图像重建 三个阶段; 三个阶段
2、统一到一个深度卷积神经网络框架中（端到端学习） 重建结果比 SCSR (Sparse coding based superresolution) 方法的结果有较大提高. 细节： 几天 training dataset：ImageNet 输入：HR-LR(HR down sample),VDSRvery deep（2016）,在 SRCNN 的基础上，VDSR借鉴VGG网络结构，设计了含有 20 个权值层的深度网络 提高lr，用clipping解决随之而来的梯度爆炸 细节： input：sub-images without overlap；batchsize = 64；multiscale x2
3、 x3 x4 conv_pad = same loss = mse high lr=0.1，每20 epoch x0.1 ；共80epoch；geadient clip to /lr, /lr 4h training on Titan Z dataset：291张图（BSD 200张+别的91张）+ 数据增广,FSRCNNfast SRCNN（2016.8）,在 SRCNN 的基础上，FSRCNN采用瓶颈结构，加速训练，比test state SRCNN快41倍 针对不同scaleing factorx2 x3 x4，只重训练“deconv” 细节： loss：MSE dataset：91快速
4、+自备100张bmp图微调+数据增广 lr：conv 1e-3、 deconv 1e-4；微调时减半,ESPCNEfficient Sub-Pixel（2016.9）,主要思想：关注如何放大的过程 1.上采样+卷积： 其实上采样的kernel（bicubic）不是学来的，所以并没有额外有用信息 而且先上采样的话，卷积计算量更大了 2.deconv： 被证明1只是2的特殊形式 （比起3计算了很多0 3.sub-pixel ： 比1快r2 比2快log_2(r2) ps： 资料显示1比2的效果要好，因为2在多数情况下会有棋盘效应（http:/distill.pub/2016/deconv-chec
5、kerboard/） 3比2更有效率（,前馈系列结果,反馈系列,DRCNDeeply-Recursive（2016cvpr）,VDSR 有 20 层深层网络, 缺乏层间信息反馈及上下文信息关联, Kim等提出了深度递归卷积网络的 SR 方法 (DRCN). 网络结构: 嵌入网络（图-feat）,推理网络（干活）,重建（恢复大小）网络三部分. 其中推理网络含多个递归层。若展开来看（20层）, 相同的滤波器递归地应用, 没有增加新的权值参数. 在连接方式上, 所有递归层共享一个重建层, 可通过跳跃连接来构建递归层与重建层的联系. 细节： loss：L1：单层MSE; L2: D层加权MSE 为了缓
6、和循环时的梯度积累（消失/爆炸），采用加权循环层的形式 先把L1占比调高，之后慢慢降低，对循环层来说更好收敛 dataset: 91图 lr：0.01，每 5 epoch后 val err不下降则再x0.1，1e-6时停止训练 6 days on Titan X GPU,如果不共享重建层： a=b,如果共享conv参数： a=c,FDfast deconv,步骤：初始上采样、快速反卷积（ 含梯度先验计算）： 首先, 采用双三次插值初始化低分辨率图像到合适的分辨率 由快速反卷积估计恢复到高分辨率图像 为了把高频当做先验，且同时加速卷积，先进行快速傅里叶变换, 在傅里叶变换域进行卷积更加有效; 最
7、后, 经傅里叶逆变换得到重建图像 重建图像主观质量较好, 且算法速度进一步提升. ps：感觉这里说的反卷积是指“解卷积”,DEGREEDeep edge guided recurrent residual,将图像信号分解到不同的频带分别重建再进行组合的方式可保留图像重要的细节信息. 主要思想: LR的边缘作为先验信息, 为特征映射学习提供指导 为避免忽略不同频带间的固有性质 (高频边缘和纹理细节信息), 通过递归残差网络将图像信号分解为边缘、 纹理等多个成分, 各部分独立重建; 最后, 不同频带信息组合得到最终的重建图像. 网络结构: LR 边缘提取层; 递归残差网络; HR 边缘预测层; 残
8、差子带融合层. 训练策略: loss: 边缘损失+重建损失+总损失. 均衡了边缘重建与最终重建图像间的损失, 进一步利用了图像的边缘信息.,华丽系列,SRGAN,主要思想： deep+residual+skip connection sub-pixel GAN perceptual loss（来自style transfer） 细节： dataset：ImageNet input：固定scale factor=4 的 HR-LR pair；batchsize：16 random crop 96x96 lr：1e-4 for 1e5 iter，然后剩下1e5 iter 用 1e-5 GAN难训练
9、，所以是先训练没有D的G版本，作为SRGAN的G初始化值 再深的结构就很难搞了（高频artifact现象）,SRGAN,SRGAN,LapSR,主要思想： 非L2 loss：解决过于平滑的问题 层级训练：粗到细；一次前馈多个尺度 训练高频残差：边缘恢复的质量更好 ps：也可以像SRGAN那样轻易扩展成对抗结构哦 细节： 端到端训练，所以是multi-loss batchsize：ramdon 64 patch 128x128 dataset：291 images + 增广（scale rotate flip） lr：1e-5 =每50epoch= x0.5,Reference,基于深度学习的图
10、像超分辨率复原研究进展 【SRGAN】Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial 【LapSRN】Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution 【SRCNN】Image Super-Resolution Using Deep Convolutional Networks 【DRCN】Deeply-Recursive Convolutional Network for Image Super-
11、Resolution 【VDSR】Accurate Image Super-Resolution Using Very Deep Convolutional Network 【FSRCNN】Accelerating the Super-Resolution Convolutional Neural Network 【ESPCN】Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network Pixel Recursive Super Resolution,
