AI 助理
备案控制台
开发者社区 人工智能 文章 正文

OpenCV-图像着色（采用DNN模块导入深度学习模型）

2023-10-17 408
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： OpenCV-图像着色（采用DNN模块导入深度学习模型）

实现原理

      图像着色最早是应用在图像修复方面，将一些过去的黑白旧照根据预设色盘上色，得到色彩饱满的彩色图，比如0灰度对应某个RGB数值，120灰度对应某个RGB数值等等，这也是当前OpenCV中已集成好的applycolormap（伪彩色函数）实现原理，按照不同的色盘给灰度图上色，可得到不同样式的伪彩色图，像当前深度图像、红外成像、雷达地图成像等领域就采用这类方法实现图像色彩重绘。


      若要将图像上色为符合现实逻辑的语义颜色和色调，就不能单单依靠固定的色盘方法，过去常采用的方案一般是依赖人主观的上色能力，就如PS中，可以通过控制色彩曲线、颜色占比等方法将黑白图慢慢恢复成彩色图。而随着深度学习、计算机视觉近几年的快速发展，将灰度图智能且高效地上色成为可能。基于图像着色算法和caffe、tensorflow、pytorch等深度学习框架，将相关的巨量数据集训练成具备一定预测能力的深度学习模型，通过这些模型即可实现更优的图像着色效果。


      本文通过OpenCV中DNN模块导入深度学习模型的方法，来实现图像着色效果。


具体流程

      1）加载模型信息，模型下载链接在下方，若不想用钱下载可以三连，评论留下邮箱我会尽快发送完整模型文件，确保打开即用。

string modelTxt = "colorization_deploy_v2.prototxt";
string modelBin = "colorization_release_v2.caffemodel";
Net net = dnn::readNetFromCaffe(modelTxt, modelBin);

     2）设置相关参数。

const int W_in = 224;
const int H_in = 224;
int sz[] = { 2, 313, 1, 1 };
const Mat Pts_in_hull(4, sz, CV_32F, pts_in_hull);
Ptr<dnn::Layer> class8_ab = net.getLayer("class8_ab");
class8_ab->blobs.emplace_back(Pts_in_hull);
Ptr<dnn::Layer> conv8_313_rh = net.getLayer("conv8_313_rh");
conv8_313_rh->blobs.emplace_back(Mat(1, 313, CV_32F, Scalar(2.606)));

      3）将图像转化为Lab颜色空间，提取L通道操作，这样的好处是仅操作亮度即可，如果用RGB，那要同时处理三个通道的数据，而三个参数调控难度太大。

Mat lab, L, input;
img.convertTo(img, CV_32F, 1.0 / 255);
cvtColor(img, lab, COLOR_BGR2Lab);
extractChannel(lab, L, 0);
resize(L, input, Size(W_in, H_in));
input -= 50;

      4）将L通道图像输入到网络中，前向计算，从网络输出中提取a和b通道，组合成彩色图即完成。

Size siz(result.size[2], result.size[3]);
Mat a = Mat(siz, CV_32F, result.ptr(0, 0));
Mat b = Mat(siz, CV_32F, result.ptr(0, 1));
resize(a, a, img.size());
resize(b, b, img.size());
Mat color, chn[] = { L, a, b };
merge(chn, 3, lab);
cvtColor(lab, color, COLOR_Lab2BGR);

C++测试代码

#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>
using namespace cv;
using namespace cv::dnn;
using namespace std;
// 通过pts_in_hull.npy转化
static float pts_in_hull[] = {
  -90., -90., -90., -90., -90., -80., -80., -80., -80., -80., -80., -80., -80., -70., -70., -70., -70., -70., -70., -70., -70.,
  -70., -70., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -50., -50., -50., -50., -50., -50., -50., -50.,
  -50., -50., -50., -50., -50., -50., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -30.,
  -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -20., -20., -20., -20., -20., -20., -20.,
  -20., -20., -20., -20., -20., -20., -20., -20., -20., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10.,
  -10., -10., -10., -10., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 10., 10., 10., 10., 10., 10., 10.,
  10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20.,
  20., 20., 20., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 40., 40., 40., 40.,
  40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 50., 50., 50., 50., 50., 50., 50., 50., 50., 50.,
  50., 50., 50., 50., 50., 50., 50., 50., 50., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60.,
  60., 60., 60., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 80., 80., 80.,
  80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 90., 90., 90., 90., 90., 90., 90., 90., 90., 90.,
  90., 90., 90., 90., 90., 90., 90., 90., 90., 100., 100., 100., 100., 100., 100., 100., 100., 100., 100., 50., 60., 70., 80., 90.,
  20., 30., 40., 50., 60., 70., 80., 90., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -20., -10., 0., 10., 20., 30., 40., 50.,
  60., 70., 80., 90., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -40., -30., -20., -10., 0., 10., 20.,
  30., 40., 50., 60., 70., 80., 90., 100., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -50.,
  -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -60., -50., -40., -30., -20., -10., 0., 10., 20.,
  30., 40., 50., 60., 70., 80., 90., 100., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90.,
  100., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -80., -70., -60., -50.,
  -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -90., -80., -70., -60., -50., -40., -30., -20., -10.,
  0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30.,
  40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70.,
  80., -110., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100.,
  -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100., -90., -80., -70.,
  -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -110., -100., -90., -80., -70., -60., -50., -40., -30.,
  -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0.
};
int main()
{
  string modelTxt = "colorization_deploy_v2.prototxt";
  string modelBin = "colorization_release_v2.caffemodel";
  string imageFile = "test.jpg";
  string original = "zhu.jpg";
  // 读取灰度图用来作颜色还原
  Mat gray = imread(original, 0);
  // 原图对比
  Mat ori = imread(original);
  imwrite(imageFile, gray);
  Mat img = imread(imageFile);
  if (img.empty()) {
    cout << "Can't read image from file: " << imageFile << endl;
    return 2;
  }
  // 预训练网络的固定输入大小
  const int W_in = 224;
  const int H_in = 224;
  Net net = dnn::readNetFromCaffe(modelTxt, modelBin);
  // 设置训练得到的参数数据
  int sz[] = { 2, 313, 1, 1 };
  const Mat Pts_in_hull(4, sz, CV_32F, pts_in_hull);
  Ptr<dnn::Layer> class8_ab = net.getLayer("class8_ab");
  class8_ab->blobs.emplace_back(Pts_in_hull);
  Ptr<dnn::Layer> conv8_313_rh = net.getLayer("conv8_313_rh");
  conv8_313_rh->blobs.emplace_back(Mat(1, 313, CV_32F, Scalar(2.606)));
  // 提取L通道灰度图，并均值化
  Mat lab, L, input;
  img.convertTo(img, CV_32F, 1.0 / 255);
  cvtColor(img, lab, COLOR_BGR2Lab);
  extractChannel(lab, L, 0);
  resize(L, input, Size(W_in, H_in));
  input -= 50;
  // L通道图像输入到网络，前向计算
  Mat inputBlob = blobFromImage(input);
  net.setInput(inputBlob);
  Mat result = net.forward();
  // 从网络输出中提取得到的a,b通道
  Size siz(result.size[2], result.size[3]);
  Mat a = Mat(siz, CV_32F, result.ptr(0, 0));
  Mat b = Mat(siz, CV_32F, result.ptr(0, 1));
  resize(a, a, img.size());
  resize(b, b, img.size());
  // 通道合并转换成彩色图
  Mat color, chn[] = { L, a, b };
  merge(chn, 3, lab);
  cvtColor(lab, color, COLOR_Lab2BGR);
  // 结果展示
  color.convertTo(color, CV_8U, 255.);
  imshow("color", color);
  imshow("gray", gray);
  imshow("ori", ori);
  waitKey();
  return 0;
}

测试效果

图1 原图

图2 灰度图

图3 着色图

      不难看出，还原的着色图还是比较符合现实语义色调的，不过还是同原图的一些色彩有所差异，毕竟数据量有限。这个数据集当初估计没少放黄色调的图，处理了好多图像都偏暗黄系。


      注意：测试中发现，OpenCV版本为4以上，debug和release都没问题；3.4版本的debug没问题，release总是报错。所以建议用OpenCV4。

文章标签：
机器学习/深度学习
计算机视觉
算法框架/工具
PyTorch
算法
关键词：
深度学习模型
深度学习图像
OpenCV图像
DNN模型
OpenCV深度学习
翟天保Steven
目录
相关文章
格林威
|
5月前
|
机器学习/深度学习 算法 定位技术
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现裂缝的检测识别（C#代码UI界面版）
本项目基于YOLOv8模型与C#界面，结合Baumer工业相机，实现裂缝的高效检测识别。支持图像、视频及摄像头输入，具备高精度与实时性，适用于桥梁、路面、隧道等多种工业场景。
格林威
566 27
TiAmoZhang
|
4月前
|
机器学习/深度学习 数据可视化 算法
深度学习模型结构复杂、参数众多，如何更直观地深入理解你的模型？
深度学习模型虽应用广泛，但其“黑箱”特性导致可解释性不足，尤其在金融、医疗等敏感领域，模型决策逻辑的透明性至关重要。本文聚焦深度学习可解释性中的可视化分析，介绍模型结构、特征、参数及输入激活的可视化方法，帮助理解模型行为、提升透明度，并推动其在关键领域的安全应用。
TiAmoZhang
397 0
Deephub
|
3月前
|
机器学习/深度学习 存储 PyTorch
Neural ODE原理与PyTorch实现：深度学习模型的自适应深度调节
Neural ODE将神经网络与微分方程结合，用连续思维建模数据演化，突破传统离散层的限制，实现自适应深度与高效连续学习。
Deephub
172 3
Neural ODE原理与PyTorch实现：深度学习模型的自适应深度调节
蒋星熠Jaxonic
|
2月前
|
机器学习/深度学习 数据采集 人工智能
深度学习实战指南：从神经网络基础到模型优化的完整攻略
🌟 蒋星熠Jaxonic，AI探索者。深耕深度学习，从神经网络到Transformer，用代码践行智能革命。分享实战经验，助你构建CV、NLP模型，共赴二进制星辰大海。
蒋星熠Jaxonic
280 2
阿里云开发者
|
5月前
|
机器学习/深度学习 人工智能 PyTorch
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
本文以 MNIST 手写数字识别为切入点，介绍了深度学习的基本原理与实现流程，帮助读者建立起对神经网络建模过程的系统性理解。
阿里云开发者
620 15
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
荔枝科研社
|
3月前
|
机器学习/深度学习 数据采集 传感器
【WOA-CNN-LSTM】基于鲸鱼算法优化深度学习预测模型的超参数研究（Matlab代码实现）
【WOA-CNN-LSTM】基于鲸鱼算法优化深度学习预测模型的超参数研究（Matlab代码实现）
荔枝科研社
228 0
阿里云开发者
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
AI 基础知识从 0.3 到 0.4——如何选对深度学习模型？
本系列文章从机器学习基础出发，逐步深入至深度学习与Transformer模型，探讨AI关键技术原理及应用。内容涵盖模型架构解析、典型模型对比、预训练与微调策略，并结合Hugging Face平台进行实战演示，适合初学者与开发者系统学习AI核心知识。
阿里云开发者
470 15
平凡程序猿~
|
10月前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习实践技巧：提升模型性能的详尽指南
深度学习模型在图像分类、自然语言处理、时间序列分析等多个领域都表现出了卓越的性能，但在实际应用中，为了使模型达到最佳效果，常规的标准流程往往不足。本文提供了多种深度学习实践技巧，包括数据预处理、模型设计优化、训练策略和评价与调参等方面的详细操作和代码示例，希望能够为应用实战提供有效的指导和支持。
平凡程序猿~
677 0
盹猫
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习模型、算法与应用的全方位解析
深度学习，作为人工智能（AI）的一个重要分支，已经在多个领域产生了革命性的影响。从图像识别到自然语言处理，从语音识别到自动驾驶，深度学习无处不在。本篇博客将深入探讨深度学习的模型、算法及其在各个领域的应用。
盹猫
987 3
Deephub
|
6月前
|
机器学习/深度学习 存储 PyTorch
PyTorch + MLFlow 实战：从零构建可追踪的深度学习模型训练系统
本文通过使用 Kaggle 数据集训练情感分析模型的实例，详细演示了如何将 PyTorch 与 MLFlow 进行深度集成，实现完整的实验跟踪、模型记录和结果可复现性管理。文章将系统性地介绍训练代码的核心组件，展示指标和工件的记录方法，并提供 MLFlow UI 的详细界面截图。
Deephub
272 2
PyTorch + MLFlow 实战：从零构建可追踪的深度学习模型训练系统

热门文章

最新文章

  • 1
    中药材图像识别数据集（100类，9200张）｜适用于YOLO系列深度学习分类检测任务
  • 2
    基于python大数据深度学习的酒店评论文本情感分析系统
  • 3
    基于深度学习的客流量预测系统
  • 4
    Ubuntu 20.04 编译 Opencv 4.11，详细步骤（带图）及报错解决，我的踩坑之旅~
  • 5
    带你读《Java图像处理：基于OpenCV与JVM》之一：基于JavaVM的OpenCV
  • 6
    10分钟学会使用YOLO及Opencv实现目标检测（下）|附源码
  • 7
    使用Python+Opencv从摄像头逐帧读取图片保存在本地
  • 8
    RPi 2B python opencv camera demo example
  • 9
    【OpenCV学习】DFT变换
  • 10
    【OpenCV学习】矩阵操作总结
  • 1
    基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
    279
  • 2
    前端神经网络入门：Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
    1727
  • 3
    深度剖析深度神经网络（DNN）：原理、实现与应用
    2819
  • 4
    支付宝商业化广告算法问题之在DNN模型中，特征的重要性如何评估
    198
  • 5
    【机器学习】基于tensorflow实现你的第一个DNN网络
    298
  • 6
    【PyTorch】PyTorch深度学习框架实战（一）：实现你的第一个DNN网络
    599
  • 7
    AI智能体研发之路-模型篇（五）：pytorch vs tensorflow框架DNN网络结构源码级对比
    252
  • 8
    天啊！深度神经网络中 BNN 和 DNN 基于存内计算的传奇之旅，改写能量效率的历史！
    314
  • 9
    DNN模型训练
    144
  • 10
    编译DNN模型
    145

    • 相关课程

    更多
  • 高校精品课-复旦大学-机器学习与深度学习
  • 深度学习框架TensorFlow入门
  • 深度学习与自动驾驶

    • 相关电子书

    更多
  • 深度学习的最新进展
  • 搜狗深度学习技术在广告推荐领域的应用
  • 深度学习在电商搜索和聊天机器人中的应用
    • 下一篇
    对象存储OSS快速上手——如何使用ossbrower2