本博文为本人调研水下图像增强时做的一些笔记。可能整理得不是很清晰，仅仅供个人学习记录用~欢迎各位交流~

白平衡方法

直方图均衡化方法

背景

对于水下作业，特别是水下机器人作业等场景，水下图像增强具有广阔得应用前景（水下机器人主要是靠它的视觉系统来判断周围的环境信息，水下机器人的视觉系统就好比人体的眼睛，它可以为机器人提供了水下目标位置信息，根据目标的位置信息，研究人员可以对目标进行监测与追踪，它还可以将获得的环境实时状态一起抽象为供机器人管理的环境模型。）。基于声视觉和基于光视觉的水下目标检测识别技术是目前主流的水下目标检测识别技术。基于声视觉的水下目标检测识别技术是通过声呐实现的，但其图像信息采集能力弱，生成图像清晰度低。基于光视觉的水下目标检测识别技术则是通过光视觉传感器实现的，成像分辨率高的光视觉传感器更适用于短距离的目标识别和精确定位。二者相比，基于光视觉的水下目标检测识别技术在水下捕捞机器人应用中优势更为明显

基于光学的水下小目标检测识别是水下捕捞机器人智能化作业的关键。然而，基于光视觉的水下目标检测识别技术同样面临着巨大的挑战，其主要原因是海洋复杂成像环境导致光视觉系统获取到的水下图像严重退化（水下图像的衰退主要包括：光线吸收导致的颜色偏差，光线前向散射导致的细节模糊和光线后向散射造成的低对比度），出现颜色衰退、对比度低以及细节模糊等现象。首先，由于水对光的吸收作用，光线在传输过程中就会发生能量衰减，在一般情况下，红光在水中衰减最快，衰减最慢的是蓝绿色光线；另外，由于光在水中的散射作用也会造成水下图像成像效果不好。散射效应又分为前向散射和后向散射，前向散射的意思是水中物体反射的光向摄像机传输的过程中发生的小角度偏离原来的传输方向的散射现象；后向散射的意思是光线在照射到水中物体时遇到水中的杂质就会发生散射直接被摄像机接收的散射现象，导致图像对比度低。

严重退化的水下图像由于缺少用于目标识别的有效信息，导致水下目标检测识别难度提升。随着高科技水下成像设备的发展，获取的水下图像的质量也得到了一定程度的提升，但仍然存在颜色衰退、对比度低以及细节模糊等现象，此外实际应用成本也是需要考虑的问题，因此对水下图像进行增强仍然有其必要性。

水下图像处理技术的算法可以根据是否基于水下成像模型分为图像增强算法和图像复原算法两种。图像增强方法是对得到的水下图像的像素点进行研究增强，算法过程中不需要考虑图像的形成过程和降质过程；图像复原方法是要根据水下图像的成像过程来获得出真实的情况。图像复原方法需要水体的光学参数、摄像机参数和摄像机与目标物体的距离等信息，这些信息都要通过人工测量或其他方法估测出这些值。

水下视觉探测技术的重点和难点有两个方面，一是水下光传感设备参数的标定，另一个是水下模糊图像的复原。由于水质的复杂性，导致光线在水下的传播有折射、散射等现象，同时可能存在的浑浊水质也是导致水下图像退化的主要原因，水下图像就因为这种降质因素产生了严重的模糊。目前科学技术处理这种模糊还存在一定的难度。由于无法获得原始的水下清晰图像，以及无法精确测量到导致水下图像发生退化的模糊函数，水下图像复原技术的应用一直受到限制，也间接限制了水下探测等技术的发展。因此如何根据水下图像的形成机制和水下图像发生退化的原因，建立一个合理的水下图像退化的物理模型，同时使得该物理模型能够实际应用，能够通过软硬件手段估计得到模糊函数来复原水下图像是目前的研究重点，具备实际的研究价值和意义。(由于水下环境的复杂，且难以获得ground truth，故此若采用DL来做，其中一个难点就是如何获取成pair的训练数据，除非采用无监督学习)

研究现状（常用的方法）

受水下光传播过程中的衰减和散射的影响，在纯水区域中，水下能见度一般为20m，在浑浊海水中的能见度一般只有 5m。

McGlamery在 1979 年搭建了经典的计算机水下成像系统模型。他发现，摄像机水下成像系统获得到的光能量可以分成三个部分：直接传输的光能量、前向散射的光能量和后向散射的光能量。

在图像处理中，图像复原又叫做图像恢复，该项技术有着广泛的应用领域。同时图像复原技术又与其他图像技术之间有着一定的联系，比如：与图像增强相比，两种技术在一定程度上都是针对图像进行改善，从而提高图像质量。但是这两项技术有着不一样的图像质量评价指标和不同的设计算法。相对而言，图像增强一般是增强视觉感受，偏向于人的主观判断，丢失的细节信息不会得到修复。而图像复原计算则是根据图像退化的模型，进行图像建模，设计一定的代价函数来优化逆问题，从而估计出原始图像和模糊函数。经典的图像复原方法一般都是基于先验知识设计的，已知的先验知识越多，复原出来的效果就越好。但是，在实际应用中，先验知识往往都是未知的。因此经典的方法限制了实际的应用。

已知图像在采集、传输、储存和处理过程中，会出现畸变、模糊、失真和附加噪声的影响，造成图像发生降质，这种现象一般称为图像退化。图像复原的关键在于建立图像退化模型，此退化模型应该能反映图像退化的原因。造成图像退化的原因很多，典型原因表现为：成像系统的像差、畸变、带宽有限造成图像失真；太阳辐射、大气湍流、云层遮挡等造成的遥感图像失真；由于成像器件拍摄姿态和扫描非线性引起的图像几何失真；成像传感器与被拍摄景物之间的相对运动，引起所成图像的运动模糊；光学系统或成像传感器本身特性不均匀，造成同样亮度景物成像灰度不同；由于场景能量传输通道中的介质特性如大气湍流效应、大气成分变化引起图像失真；图像在成像、数字化、采集和处理过程中引入的噪声等。

（tips：傅里叶变换是一种频域变换，是将图像的空间域信息转换到频率域中，傅里叶变换的应用一般是将在空域中不明显的信息或隐藏的信息转换到频域中，使其在频域中很明显地显现出来。）

传统的图像增强方法有很多种，主要分为两大部分：空域图像处理和频域图像处理。空域图像处理方法直接针对图像的像素点，以灰度映射为基础来改善灰度层级，例如直方图均衡化、限制对比度直方图均衡化、灰度世界假设等，此外，还可以通过滤波的方式对图像去除噪声达到图像增强的目的，例如中值滤波、均值滤波等；频域图像增强方法则通过各种频域变换，如傅里叶变换、小波变换等，可以间接地增强图像。国内外很多学者采用空域和频域方法对水下图像进行了增强，传统的图像增强算法在一定程度上可以消除图像模糊、增强边缘等，但仍存在噪声大、清晰度较低和颜色失真等问题，因此还需要进一步加强和完善。

目前，用于增强或复原水下图像的处理方法大致可分为非物理模型的图像增强方法和基于物理模型的图像复原方法。

非物理模型的图像增强方法

图像增强技术不必过多考虑图像成像的过程和模型，可以叫非物理模型方法，这种方法力图通过单纯的图像处理手段提高水下图像质量，通过调整图像的像素值来改善视觉质量，不过实现过程往往较为复杂。

该类方法采用直接调整图像像素值的方式改善图像质量，并不考虑水下图像退化的物理过程（就是没有考虑退化模型、水下得信道），属于图像增强范畴。

在水下图像增强技术研究早期，对水下图像的处理经常直接应用一些空气中传统的的图像增强算法，传统的图像增强算法可以分为空间域法与频域法。空间域方法是对图像中的像素点直接处理，采用灰度映射的方法，比如选取合适的映射变换来增加图像的对比度，改善图像灰度级等。频域法是一种间接的图像处理方法，运用变换技术把图像映射到某种变换域内，然后利用变换域中特有性质进行某种滤波处理，再反变换到空间域内，即得到增强后的图像。常被应用到水下图像传统空间域增强算法有直方图均衡化、限制对比度直方图均衡化、灰度世界假设和白平衡算法等，频域增强算法有傅里叶变换、小波变换和滤波技术，主要包括低通滤波，高通滤波和同态滤波等。目前图像增强算法往往存在可能只是对某一类的图像增强效果好，而其他类型的效果不好的特点，而且由于水下环境的特殊性，仅仅通过研究把传统的图像增强算法应用在水下图像上无法彻底解决水下图像退化问题。
水下图像増强算法研究早期，传统的图像处理方法，例如白平衡，灰度世界假设和灰度边缘假设等颜色修正算法，直方图均衡化和限制对比度直方图均衡化等对比度增强算法，多被用来增强水下图像。相比于处理普通图像获取的较好的结果，这些方法在处理水下图像获取的结果并不理想，其主要原因是海洋环境复杂，多重不利因素如水介质对光线的散射、吸收作用以及水下悬浮粒子等对其产生严重干扰。考虑到水下图像存在的颜色衰退、低对比度以及模糊等特点，研究人员往往从图像颜色、对比度、细节等方面入手对水下图像进行增强。

白平衡方法

在不同光源照射下，观察同一个物体会发现其呈现的颜色是不同的，原因是不同光源具有的不同色温造成目标物体的反射光线光谱偏离其“真实”颜色。当同一白色目标物体在被高色温光源照射（如阴天时）将会表现为蓝色，被低色温光源照射（如床头灯等）将会表现为姜黄色。白平衡方法能够根据图像所呈现的色温纠正图像的色彩偏差，其具体实现过程建立在朗伯特反射模型上。
朗伯特反射模型表示反射图像主要与三项因素有关：光源光谱分布、物体表面的反射率以及成像设备感光函数。针对彩色图像，即包含ＲＧＢ三个颜色通道的图像，图像呈现的场景中某物体表面上的空间坐标点x的颜色可用朗伯特反射模型表示为：

白平衡方法以上述朗伯特反射模型为基础，考虑到传统的以标准白色参照物进行颜色校准的白平衡方法在实际应用中具有很大的局限性，研宄人员提出了多种白平衡算法纠正图像的色彩偏差。白平衡方法应用场景一般为普通偏色情况，对于并不严重的偏色可以起到较好的恢复作用，但是水下偏色情况一般较为严重，因此需要继续研究可以对水下颜色衰退起到良好恢复作用的白平衡算法。

直方图均衡化方法

将图像的灰度直方图从较为集中的某灰度区间均匀拉伸至全部灰度范围内，用以扩大图像灰度值的分布范围，提升图像对比度并突出部分细节效果。

基于Retinex的方法

Retinex 理论是 20 世纪 70 年代最早由 Land提出的一种基于颜色恒常性的理论，该理论基于三个假设：（1）真实世界是无颜色的，人类所见到的颜色是光与物体相互作用的结果；（2）每一种颜色由红、绿、蓝三原色组成的；（3）三原色决定了每个单位区域的颜色。Retinex 算法可以对不同类型的图像进行自适应增强，比传统的单一的图像增强算法具有更好的自适应性，因为传统的增强算法只能增强图像的某一类特征，而Retinex 增强算法则可以在动态范围内压缩、细节增强和颜色校正等方面达到较好的平衡效果，因此，Retinex 理论得到了广泛的发展和应用。

基于暗通道先验的方法（去雾的方法）

DCP是一种去雾的图像增强方法（恺明神提出的方法）。接下来会写一篇博客专门对这种方法进行分析。

对于水下图像增强而言，跟去雾有很多相似的特性。故此在去雾中的一些方法也适用于水下图像增强。

基于卷积神经网络的方法

基于卷积网络的图像去雾、去模糊、图像盲复原等任务跟水下图像增强有异曲同工之妙。但是关键点在于训练集的获取以及卷积模型的泛化能力上。

其实对于运算量和实时性而言。个人觉得卷积网络只要训练好了，后面的使用过程是非常方便的。但是对于水下如此复杂的退化环境，要训练出一种泛化能力足够强的网络才是难点所在。与此同时，需要有相应的数据集的定制，也是难点所在。

基于物理模型的图像复原方法

该类方法针对水下图像退化过程构建数学模型，通过该模型反演图像退化过程，获得理想状态下未经退化的图像，属于图像复原范畴。（两种方法感觉好像有点类似于图像复原中的成pair的训练和不成pair的训练）

水下图像复原技术是基于物理模型的方法，是指对水下图像退化过程搭建一个合理的数学模型估算出模型参数信息，了解整个图像的退化过程使水下图像恢复到退化前的状态。图像复原技术适用范围更广，但是往往需要场景先验信息或深度信息来实现图像复原。

受图像处理和质量衡量方法的多样性的影响，对于水下图像处理结果的选取只能从其应用目的和场合入手，水下图像增强算法的研究仍然有待深入研究和完善。海洋的环境多种多样，必须要用应用的目的和场合入手来进行合适的水下图像增强。

水下图像成像理论

海水是一种化学成分非常复杂的混合物，它包含着以物理化学形态存在的各种元素，通常在海水中还含有悬浮体和各种活性有机体，如细菌、浮游生物和矿物颗粒等，使得海水存在不均匀性。水中悬浮颗粒的存在，使得光线在水下容易发生折射、散射，同时水对光线具有一定的吸收和衰减特性。即使是经过过滤的最纯净的水，它对光的衰减也是很严重的。实验表明，水的衰减是光波长的复函数，它是由两个不相关的物理过程（即吸收和散射）引起的，因此光在水中传输时的能量按指数规律迅速地衰减。一般对于清澈的海水，60％的衰减是由散射引起的，40％的衰减是由吸收引起的。

在水中，光是按照指数衰减的方式进行运动，这种衰减限制了相机到目标物的距离，并非常严重的影响了水下的成像系统的性能，通常情况下，吸收造成了光能量的损失，散射造成光传播方向的改变，前向散射是水下物体到摄像机的过程中发生小角度偏离的光线，这种散射造成了图像清晰度低，而后向散射是从存在的太阳光或者人工光源到摄像机的过程中遇到悬浮小颗粒散射到相机的偏离光，这种散射会造成图像对比度低。

水下成像系统

水下成像系统获取的图像严重衰退，其主要原因是水下环境中能见度较低，清澈水中的能见度大约为二十米，浑浊水中的能见度则大约在五米之内。这种能见度降低源于光线在水中的衰减。朗伯－比尔经验定律表示，光线在媒介中以指数形式衰减，媒介的特性将直接影响光线的衰减程度。
根据光衰减模型

自然光入射到水中，水中介质对光线有散射和吸收的作用。水中光线衰减模型可以表示为：

水下成像系统如下图所示。其中，光线散射分为前向散射和后向散射，前向散射光作为目标表面反射或辐射经水中悬浮粒子散射后进入成像系统的光，将导致成像系统获取的图像呈现模糊的现象；后向散射光作为自然光入射到水体经悬浮粒子散射后进入成像系统的光，将导致成像系统获取的图像呈现低对比度的现象。采用人工光源对水下成像过程进行主动照明能够对上述现象起到一定程度的改善作用，但人工光源的光强以光量最强点为中心沿径向逐渐衰减，将导致获取的图像存在背景灰度不均、假轮廓、假细节和自阴影等情况，同时人工光源在浑浊水中能够发挥的作用非常有限。

水中介质对光线的散射作用会导致获取的图像存在模糊及低对比度的现象，而水介质对光线的吸收作用则将会造成获取的图像出现颜色衰退的现象。水对光的吸收在不同的光谱区域是不同的，具有明显的选择性。水对光谱中的红外和紫外部分表现出强烈地吸收。在可见光谱区段，吸收最大的是红色、黄色和淡绿色光谱区域。纯净水和清澈的海水在光谱的蓝一绿区域透射比量大，其中波长 462~475nm 的蓝光衰减最少。水的吸收足以使光的强度每米衰减约4％，而其他颜色则更多，几米之外几乎完全消失。
如下图所示。水介质对光线的吸收效应是有选择性的，即水介质对不同波长的光吸收程度不同，红色光、橙色光和黄色光基本会消失在大约五米、十米、二十米水深处，而随着水深的进一步增加，绿色光也会逐渐消失，而蓝色光在六十米水深处才会基本消失（而对于LED光源而言，主要是蓝色芯片发光的，故此可能在这个程度上，有利？）。因此，一般获取的水下图像皆呈现蓝绿色调。

水下散射模型

相比于水对光的吸收作用，光在水中发生散射效应是造成水下图像降质的主要原因。

水体对自然光的散射作用受到水体中粒子的类别、大小和密度以及入射光的波长、角度以及偏振的共同影响（故此对于不同的海洋环境，有不同的粒子类别，散射模型也许也会不一样，从而大大增加了问题的多样性）。水下图像总照度=直接照射分量+前向散射分量+后向散射分量

直接照射分量是指经目标表面反射进入相机的并未被水体散射或吸收的光；前向散射分量是目标表面反射的经水中悬浮粒子散射后进入相机的光；后向散射分量则指的是自然光入射到水体后经悬浮粒子散射后进入相机的光。Jaffe-McGlamery模型假设光源以球状扩散并衰减，目标反射光可以由入射光和反射函数表示。直接照射分量的估计可以在假设目标物体为理想朗伯特体的基础上采用几何光学实现。前向散射分量是目标反射光在到达相机之前发生的小角度散射产生的，它的求解可以结合直接照射分量和点扩散函数的卷积算子实现。后向散射光进入相机的角度很广，其相应的后向散射分量则是通过体积散射函数对场景和相机之间的水体所分成的小水体进行加权，然后线性叠加得到的。该模型表示相机、成像范围、光源距离和水下环境都将对获取的水下图像产生影响。在短距离成像中，相机和光源简单组合即可获取质量较好的水下图像。在距离较长的成像范围内，独立相机和光源组成的系统将获取质量更好的水下图像，但是成像距离的增加将导致后向散射效应的凸显。

水下退化图像模糊类型

由于不同水下环境的复杂性，因此造成水下图像发生退化的原因主要可以分为：噪声和模糊。其中水下模糊可以分为三种类型：
1、水体或鱼群等运动造成的运动模糊；2、水下光线的散射或相机镜头未能达到理想的对焦的情况下造成的散焦模糊；3、水下湍流造成的高斯模糊。

高斯模糊

高斯模糊函数是最常见的模糊，对成像系统和光学测量系统来说，许多因素共同决定了系统的退化函数，综合的结果就是使退化函数趋于高斯模型。光学相机和 CCD 摄像机、显微光学系统、CT 机等等都属于这类系统。大气湍流和水下湍流也一样都会近似为高斯函数，其数学模糊可表示为：

运动模糊

运动模糊图像形成于目标的成像过程中，主要是因为在相机曝光的过程中拍摄目标与相机镜头之间发生相对位移而产生的一种图像退化现象，其数学模糊可表示为：

散焦模糊

一般，一个理想的点在成像平面上呈圆盘状光斑的现象叫做离焦模糊，这种模糊是由于成像系统未能达到理想的对焦状态而产生的。常采用的基于几何光学中提出的圆盘离焦模型，能很好的近似点扩散函数，有效解决离焦模糊的去模糊问题。用一个灰度值服从均匀分布的圆盘状光斑来表示 PSF，其数学模糊可表示为：

图像质量评价标准

图像质量评价指标是评估图像处理算法好坏的重要指标。图像质量通常指图像逼真度和图像可懂度。在图像处理的许多技术中，如：压缩、增强、超分、去噪、去模糊、去摩尔纹、复原等，都会涉及到图像质量评价。图像质量的含义主要包括图像的逼真度和图像的可懂度两个方面，其质量主要受成像装备的光学性能、仪器噪声和成像条件等多种因素的影响。图像质量评价方法主要分为两类：分别为主观图像质量评价方法和客观质量评价方法

对于客观质量的评价方法又分为有参考和无参考评价

参考资料：

《基于卷积神经网络的水下图像增强算法研究_丁雪妍》

《水下图像复原方法研究_王婷》