带你读《2022技术人的百宝黑皮书》——CVPR2022 | 开源： 基于间距自适应查找表的实时图像增强方法(2) https://developer.aliyun.com/article/1246794?groupCode=taobaotech
所提方法的整体模型框架如上图所示。我们以待增强的图像作为模型输入，自动输出经过颜色增强的高质图像，并将输出图像与经过人为美化的目标图像计算MSE重建损失，从而实现整个方法框架的端到端学习。
具体模型结构上，我们使用一个轻量的卷积神经网络将下采样到固定分辨率（256x256像素）的输入图像作为输入，通过该网络同时预测图像自适应3D LUT的两个核心组成部件——非均匀的输入颜色采样坐标和相应的输出颜色值。
在3D LUT的输出颜色值上，我们延续现有工作[2]采用的方式——通过网络自动预测系数来针对每张图像动态加权合并若干个可学习的Basis 3D LUTs，以避免直接回归全部输出颜色值所带来的大量网络参数和计算复杂度的引入。
对于非均匀输入颜色采样坐标，我们假设在查找过程中3D LUT的三个颜色维度是相互独立的；通过这种方式，我们可以分别预测每个颜色维度的一维采样坐标序列，并通过笛卡儿积（n-ary Cartesian Product）得到对应的三维采样坐标。
这两个组成部件组合在一起构成一个具有自适应、非均匀三维布局的3D LUT，它可以通过我们精心设计的一种称为 AiLUT-Transform 的新型可微算子对原始输入图像进行高效的颜色变换和增强。具体而言，我们通过在标准的查找表变换的查找过程中引入低复杂度的二分搜索来确定输入颜色在非均匀布局查找表中所在的网格，并通过推导偏微分为网络自动预测的非均匀颜色采样坐标提供梯度以进行端到端学习。
实验结果
本文所提出的AdaInt模块可以在可忽略不计的参数和计算量增加下显著提高基线三维查找表方法的增强效果，如下图所示。
带你读《2022技术人的百宝黑皮书》——CVPR2022 | 开源： 基于间距自适应查找表的实时图像增强方法(4) https://developer.aliyun.com/article/1246792?groupCode=taobaotech
