带你读《2022技术人的百宝黑皮书》——CVPR2022 | 开源： 基于间距自适应查找表的实时图像增强方法(1) https://developer.aliyun.com/article/1246795?groupCode=taobaotech
工作动机
由于3D LUT的计算高效性和稳定鲁棒的颜色变换能力，最新的研究工作[2]结合了3D LUT的高效计算性能和深度神经网络的强大数据特征提取能力，通过深度网络从图像中自适应地生成稀疏三维查找表以进行实时色彩增强，证明了3D LUT在基于深度学习的自适应色彩增强中的可行性和有效性。然而，通过深度网络自适应预测稀疏3D LUT时，现有工作仅考虑了3D LUT中记录的输出值的图像自适应性，而却对所有不同图像均采用统一的均匀稀疏点采样策略（将三维输入颜色空间等间隔地离散化成三维网格），未能有效考虑到稀疏3D LUT中采样点在输入空间中的分布也应根据图像内容自适应调整。这一重要建模能力的缺失导致该方法学习到的3D LUT中稀疏采样点分配策略次优，从而限制了最终所得3D LUT的模型变换能力。这具体表现为：由于采样点的稀疏性和3D LUT变换中采用的线性插值带来的非线性变换表达能力的损失，均匀采样策略可能将颜色相近的输入像素量化到3D LUT的同一网格区间内；当这些输入像素的对应输出值需要较高的非线性对比度时（如增强图像中处于暗光条件下具有显著色彩差异的纹理区域时），单个LUT网格却仅能提供线性的颜色拉伸变换，从而可能导致变换结果的颜色平滑。这种现象可以类比为数字信号处理领域中因采样频率不满足奈奎斯特-香农采样定律而导致的信号失真，如下左边示意图所示。理想情况下，增加稀疏采样点的数量或引入非线性插值也许可以有效缓解这种非线性变换能力不足的问题，但也会显著增加3D LUT方法的计算和内存复杂度，牺牲了LUT方法的实时性。此外，如下右半部分的示意图所示，
在均匀采样策略中直接增加采样点的数量也会加剧3D LUT对颜色变换平坦区域（如输出颜色仅为输入颜色的线性拉伸）甚至对输入颜色空间中鲜有像素分布的区域的过采样，从而造成了3D LUT模型容量和内存消耗的浪费。
方法介绍
针对现有工作因其在输入空间中通过均匀量化间隔的有限稀疏采样点完成3D LUT的构建而存在的局部非线性颜色变换建模能力不足的挑战，我们提出基于采样间距自适应学习的3D LUT方法来为上述挑战提供一种先进的解决方案，即Adaptive Intervals Learning (AdaInt)。具体而言，我们提出并设计一种轻量紧支的三维颜色空间动态采样间隔预测机制，作为3D LUT方法的一种即插即用模块，自适应地根据输入图像内容预测3D LUT中稀疏采样点的分布方式。通过提供给模型在三维颜色空间中自适应、非均匀采样的能力，模型有望在需要较强非线性变换的颜色空间内分配更多的采样点以提高3D LUT的局部非线性变换能力，在变换较为平坦的区域分配较少的采样点以减少3D LUT的容量冗余，从而提高3D LUT方法的灵活性和图像自适应性。
带你读《2022技术人的百宝黑皮书》——CVPR2022 | 开源： 基于间距自适应查找表的实时图像增强方法(3) https://developer.aliyun.com/article/1246793?groupCode=taobaotech
