ICCV2019 Kernel Modeling Super-Resolution on Real Low-Resolution Images

Kernel Modeling Super-Resolution on Real Low-Resolution Images

整体流程：

使用暗通道先验[19]来简单有效地估计自然图像的模糊核。
利用WGAN-GP以1中生成的模糊核作为训练样本训练，扩充模糊核。
利用1和2种生成的模糊核，模糊真实图像生成超分网络的训练数据集。

公开的代码与论文有一些不一致，还需要自己修改，自己跑的实验结果并不理想，原因未知。

摘要

深度卷积神经网络(CNNs)通过对相应的高、低分辨率图像对进行训练，实现了单图像超分辨率的最新性能，超越了以往基于信号处理的方法。然而，他们的表现是有限的，适用于真正的照片。原因在于他们的训练数据:低分辨率(LR)图像是通过对应的高分辨率(HR)图像的双三次插值得到的。应用的卷积核明显不同于现实世界的相机模糊。因此,虽然目前CNNs能很好地超分辨双线性插值采样LR图像，但是在真实的照相机捕捉的低分辨率的图像经常失败。

为了提高深超分辨率CNNs在真实照片上的泛化能力和鲁棒性，我们提出了kmsr，在训练中加入模糊核。我们提出的KMSR包括两个阶段:1.我们首先使用生成式对抗网络(GAN)构建一个现实的模糊内核池。2.用生成的核构建了一个具有HR和相应LR图像的超分辨率网络。大量实验证明了我们单幅图像的超分辨率方法在不知道的模糊核上的效果。

一、介绍

单图像超分辨率方法旨在通过恢复高频细节，从低分辨率图像中重建高分辨率图像。经典的超分辨率(SR)算法[40,41,57]分析建模的模糊核和真实图像的性质，以恢复的高分辨率图像。相比之下，许多现代SR方法[21,45,49]试图学习从LR图像到HR图像的映射。最近，一些基于卷积神经网络(CNN)的SR模型被开发出来，所有这些基于学习的方法都需要大量成对的LR和HR图像来进行训练。

获取真实的HR和LR图像对是不简单的，因此，目前基于cnn的SR网络依赖于合成生成的LR图像，最常用的技术是对HR图像应用双三次插值[25]。然而，双三次卷积核不同于真正的相机模糊，由于光学模糊、大气模糊、相机抖动和镜头像差等因素，相机拍摄图像中高频细节的丢失是由多种因素造成的，因此，尽管这些基于cnn的SR网络在三次插值下采样的LR图像上表现良好，但是他们在真实的图像上效果受限，因为在错误的核假设下。基于GAN的方法可以将在不成对的网络上进行训练超分网络，但是它们仍然依赖于不真实的内核，因此，在真实的LR照片上使用未知的相机模糊的超分辨率仍然是一个具有挑战性的问题。

为了生成具有真实相机模糊的合成LR图像，我们可以使用内核估计算法[28,29,35]来从真实LR照片中提取真实的模糊内核。然而，由于每个相机、镜头、光圈和大气条件的组合可能会导致不同的模糊核，因此很难生成训练SR网络所需的足够大和多样化的数据集。

一种方法是使用多个模糊核[36]生成合成LR图像，提高SR网络的泛化能力。使用核估计器，我们首先从真实的照片中提取模糊核，并使用它们来训练GAN。GANs是一类学习生成与给定训练数据分布相同的合成样本的神经网络，因此，我们通过利用GAN逼近复杂的分布[24,30,38,50]的能力来学习和生成额外的模糊内核，从而扩大了我们使用内核估计获得的有限内核集。

因此，我们的内核建模超分辨率(KMSR)包括两个阶段：1.我们首先通过使用核估计算法从照片中提取真实的模糊核，并通过训练一个GAN来扩大核池，从而生成一个GAN增强的真实模糊核池。然后，我们用从内核池中采样的内核构建一个成对的LR-HR训练数据集，并训练一个深度CNN超分网络。

本文的主要贡献如下:1.我们介绍了KMSR，通过在框架中加入现实的模糊核，来改善真实照片的盲超分，从而提高了网络对不可见模糊核的泛化能力，2.我们证明GAN可以可靠地生成真实的模糊内核，3.我们用真实图像的实验证明，所提出的KMSR在视觉质量和客观指标方面都达到了最先进的结果。

https://github.com/IVRL/Kernel-Modeling-Super-Resolution