现有的低光照图像增强技术聚焦于构建数据驱动的深度网络，通常其网络模型复杂，导致计算效率低、推理速度慢，并且由于对于训练数据分布的依赖性导致其在未知场景下的性能缺乏保障。总的来说，现有技术普遍缺乏实用性。为解决以上问题，本文提出了一种全新的低光照图像增强方案：自校准照明学习（SCI）。通过构建引入自校准模块的权重共享光照学习过程，摒弃了网络结构的繁杂设计过程，实现了仅使用简单操作进行增强的目的。今天就通过一篇2022年的CVPR论文，带大家了解一下最前沿的图像增强算法。

论文地址：arxiv.org/pdf/2204.10…

代码地址：github.com/vis-opt-gro…

自校准照明Self-Calibrated Illumination (SCI)

为了解决上述问题，本文开发了一个新的自校准照明（SCI）学习框架，用于快速、灵活和鲁棒的微光图像增强。通过重新开发照明学习过程的中间输出，构建了一个自我校准的模块，以赋予单一的基本块更强的代表性，并在每个阶段的结果之间进行收敛，以实现加速。主要包括以下几个方面的内容：

1. 具有权重共享的照明学习

2. 自校准模块，用于具有权重共享的照明学习，以赋予每个阶段的结果之间的收敛性，提高曝光稳定性并大幅度减少计算负担。

3. 无监督训练损失，以在自校准模块的影响下约束每个阶段的输出，赋予了对不同场景的适应能力。

具有权重共享的照明学习

根据Retinex理论，在低照度观察值y和期望的清晰图像z之间存在着一种联系：y = z ⊗ x，其中x代表照明分量。一般来说，照度被看作是低光照图像增强需要主要优化的核心部分。根据Retinex理论，通过去除估计的照度，可以进一步获得增强的输出。通过引入参数θ的映射Hθ来学习照度，本文提供了一个渐进的视角来模拟这一任务。基本单元如下：

如果每个阶段的输出尽可能接近且与目标一致，这样一来，多阶段级联测试变为单阶段测试，将大幅减少推理代价。为实现该目标，如下引入了一种自校准模块。

自校准模块

目的是定义一个模块，使每个阶段的结果都收敛到同一个状态。由系统可知，每个阶段的输入都源于前一个阶段，而第一个阶段的输入被定义为低光观察。具体的思路为将每个阶段的输入（除了第一阶段）和低光观察（即第一阶段的输入）连接起来，间接探索每个阶段之间的收敛行为。自校准模块的公式表达为：

其中vt是校准后的用于下一阶段的输入。原本的光照学习过程中第二阶段及以后的输入变成了由上述公式得到的结果，即光照优化过程的基本单元被重新公式化为：

对于这样的设计，是对之前的F(xt)做了进一步的拆解，使得渐进的光照部件能够在每一步获得更充分的学习与校正，以适应残差网络设计的原始目标，即通过输入补偿获得更好的结果。实际上，构建的自校准模块通过整合物理原理来逐步校正每个阶段的输入，从而间接影响每个阶段的输出，进而实现了阶段间的收敛。

无监督训练损失

为了更好地训练提出的学习框架，该部分设计了一种无监督损失函数，以约束每一阶段的光照估计，并扩大网络容量。定义了总的损失：

其中，Lf和Ls表示保真度与平滑损失，对应两个控制权重。保真度损失保证估计照明与每一步输入的像素级别的一致性，表示为：

照明的平滑特性在这项任务中是一个广泛的共识。在这里，采用了一个具有空间变量1范数的平滑项，如下所示：

其中N是像素总数。i是第i个像素。N（i）表示i在其5×5窗口中的相邻像素。w i，j表示权重。

实验结果

相比传统方法，SCI得到了更加真实，精准的结果。

在添加了SCI后，可以看到图像的过曝问题被明显的抑制了。

总结

自校准照明（SCI）通过对整个更新结构进行拆解，在每一步学习过程中，使用权重共享的学习机构，来渐进的实现对光照部件的模拟，使得整个光照加强模型能够获得较快的收敛速度，同时保证了低光图像与优化后图像基于光照部件的关联关系，抑制了过曝的情况，在图像质量和推理速度方面均取得了突破。

其它

论文中还提到了其他的，比如其他类似图像增强的实现细节之类的，以及所用到的数据集等，这里不再赘述，感兴趣的可以自己去看一下论文。