[笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV图像处理

简介: [笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV图像处理

一、通过ROI感兴趣区域来裁剪图像

1.1 cv::Rect

示例

#include <opencv2\core.hpp>
#include <opencv2\imgcodecs.hpp>
#include <opencv2\highgui.hpp>
using namespace cv;
int main(int argc, char* argv) {
  Mat src = imread(".\\res\\1.png");
  Rect rect(0, 0, 200, 200);
  Mat roi = src(rect);
  MatSize roiSize = roi.size;
  namedWindow("src");
  namedWindow("roi", WINDOW_AUTOSIZE);
  imshow("src", src);
  imshow("roi", roi);
  waitKey(0);
  return 0;
}

二、RGB、YUV、GRAY像素格式介绍opencv像素格式转换cvtColor接口讲解

像素格式和灰度图

2.1 RGB、YUV、GRAY

RGB:红绿蓝

YUV:亮度、色度、饱和度

GRAY:0-255表示亮度,颜色没有意义时用灰度图,比如OCR

2.2 cvtColor(src,img,COLOR_BGR2GRAY)

三、手动实现转换灰度图并与opencv提供的函数做性能对比

自己动手实现

转换公式:GRay = (R30 + G59 + B*11 +50)/100

#include <opencv2\core.hpp>
#include <opencv2\imgcodecs.hpp>
#include <opencv2\highgui.hpp>
#include <opencv2\imgproc.hpp>
using namespace cv;
int PrintMs(const char *text = "")
{
  static long long last = 0;
  long long cur = getTickCount();
  if (last == 0) {
    last = cur;
  }
  long long ms = ((double)(cur - last) / getTickFrequency()) * 1000;
  if (*text != 0) {
    printf("%s = %d ms\n", text, ms);
  }
  last = getTickCount();
  return 0;
}
void RGBToGray(Mat src, Mat &des) 
{
  des.create(src.rows, src.cols, CV_8UC1);
  for (int r = 0; r < src.rows; r++)
  {
    for (int c = 0; c < src.cols; c++)
    {
      Vec3b &m = src.at<Vec3b>(r, c);
      // GRay = (R*30 + G*59 + B*11 +50)/100
      int gray = (m[2] * 30 + m[1] * 59 + m[0] * 11 + 50) / 100;
      des.at<uchar>(r, c) = gray;
    }
  }
}
int main(int argc, char* argv) {
  Mat src = imread(".\\res\\1.png");
  Mat gray;
  Mat mygray;
  PrintMs("");
  cvtColor(src, gray, COLOR_BGR2GRAY);
  PrintMs("gray ms");
  RGBToGray(src, mygray);
  PrintMs("mygray ms");
  namedWindow("gray");
  imshow("gray", gray);
  namedWindow("mygray");
  imshow("mygray", mygray);
  namedWindow("src");
  imshow("src", src);
  waitKey(0);
  return 0;
}

cvtColor 使用了多线程进行计算 会快很多。

四、通过OpenCV阈值函数threshold实现图像的二值化

opencv-阈值处理

4.1 二值化和阈(yu 4)值

4.1.1 二进制阈值化

threshold(gray, bin, 100, 255, THRESH_BINARY);

4.1.2 反二进制阈值化

threshold(gray, ibin, 100, 255, THRESH_BINARY_INV);

示例代码

int main(int argc, char* argv) {
  Mat src = imread(".\\res\\1.png");
  Mat bin;
  Mat ibin;
  Mat gray;
  cvtColor(src, gray, COLOR_BGR2GRAY);
  //二进制阈值化
  threshold(gray, bin, 100, 255, THRESH_BINARY);
  //反二进制阈值化
  threshold(gray, ibin, 100, 255, THRESH_BINARY_INV);
  namedWindow("src");
  namedWindow("bin");
  namedWindow("ibin");
  imshow("src", src);
  imshow("bin", bin);
  imshow("ibin", ibin);
  waitKey(0);
  return 0;
}

五、通过OpenCV图像亮度和对比度

5.1 对比度和亮度

saturate_cast<uchar>();

在图像处理方面,无论是加是减,乘除,都会超出一个像素灰度值的范围(0~255),saturate_cast函数的作用即是:当运算完之后,结果为负,则转为0,结果超出255,则为255。

六、通过对Mat遍历修改图像亮度和对比度与convertTo性能对比

#include <opencv2\core.hpp>
#include <opencv2\imgcodecs.hpp>
#include <opencv2\highgui.hpp>
#include <opencv2\imgproc.hpp>
using namespace cv;
int PrintMs(const char *text = "")
{
  static long long last = 0;
  long long cur = getTickCount();
  if (last == 0) {
    last = cur;
  }
  long long ms = ((double)(cur - last) / getTickFrequency()) * 1000;
  if (*text != 0) {
    printf("%s = %d ms\n", text, ms);
  }
  last = getTickCount();
  return 0;
}
//
///@para a float 对比度 1.0~3.0
///@para b int 亮度 0~100
void ChangeGain(Mat &src, Mat &des, float a, int b)
{
  //g(r,c) = a*f(r,c) + b
  des.create(src.rows, src.cols, src.type());
  for (int r = 0; r < src.rows; r++)
  {
    for (int c = 0; c < src.cols; c++)
    {
      for (int i = 0; i < 3; i++)
      {
        des.at<Vec3b>(r, c)[i] = saturate_cast<uchar>(a * src.at<Vec3b>(r, c)[i] + b);
      }
    }
  }
}
int main(int argc, char *argv[])
{
  //调整对比度和亮度
  Mat src = imread(".\\res\\1.png");
  Mat des;
  PrintMs("");
  ChangeGain(src, des, 2.0, 50);
  PrintMs("ChangeGain");
  Mat des2;
  src.convertTo(des2, -1, 2.0, 50);
  PrintMs("convertTo");
  namedWindow("src");
  namedWindow("des");
  namedWindow("des2");
  imshow("src", src);
  imshow("des", des);
  imshow("des2", des2);
  waitKey(0);
  return 0;
}

七、图像尺寸调整算法介绍并手动实现近邻算法

是对图像进行缩放的一种方式

7.1 图像尺寸调整

INTER_NEAREST 近邻算法

性能好 效果差

CV_INTER_LINEAR 双线性内插算法(缺省使用)

性能稍差,但效果好

void xresize(Mat &src, Mat &des, Size size)
{
  des.create(size, src.type());
  //映射的原图坐标
  int sx, sy = 0;
  float fx = (float)src.cols / des.cols;
  float fy = (float)src.rows / des.rows; 
  for (int x = 0; x < des.cols; x++)
  {
    sx = fx * x + 0.5;
    for (int y = 0; y <des.rows; y++)
    {
      sy = fy * y + 0.5;
      des.at<Vec3b>(y, x) = src.at<Vec3b>(sy, sx);
    }
  }
}
int main(int argc, char *argv[])
{
  Mat src = imread("1.png"); //512*512 256 1024
  Mat img256,img1024,des256,des1024;
  resize(src, des256, Size(256, 256), 0, 0, INTER_NEAREST);
  PrintMs();
  //xresize(src, img256, Size(256, 256));
  //PrintMs("img256");
  xresize(src, img1024, Size(1024, 1024));
  //resize(src, img1024, Size(4024, 4024), 0, 0, INTER_NEAREST);
  PrintMs("img1024");
  //resize(src, des256, Size(1024, 1024), 0, 0, INTER_NEAREST);
  resize(src, des1024, Size(1024, 1024), 0, 0, INTER_LINEAR);
  PrintMs("des1024");
  namedWindow("src");
  //namedWindow("img256");
  namedWindow("des1024");
  namedWindow("img1024");
  imshow("src", src);
  imshow("img1024", img1024);
  imshow("des1024", des1024);
  //imshow("img1024", img1024);
  waitKey(0);
  return 0;
}

八、调用opencv的resize使用近邻算法并与自定义算法比较

滤波

输入图像中像素的小邻域来产生输出图像的方法,在信号处理中这种方法称为滤波( filtering)。其中,最常用的是线性滤波,输出像素是输入邻域像素的加权和。

双线性内插值

三十分钟理解:线性插值,双线性插值Bilinear Interpolation算法

  • 是由源图像位置在它附近的2*2区域4个邻近象素的值通过加权平均计算得出的
  • 低通滤波性质,使高频分量受损,图像轮廓可能会有一点模糊

九、高斯金字塔和拉普拉斯金字塔调整图像尺寸详解

图像金字塔

也是对图像进行缩放的一种方式

高斯金字塔(Gaussian pyramid)

用来向下采样缩小

  • 获取G(i+1)将G(i)与高斯内核卷积
  • 将所有偶数行和列去除
高斯内核

拉普拉斯金字塔(Laplacian pyramid)

用来从金字塔低层图像重建上层未采样图像 放大

  • 用来从金字塔低层图像重建上层未采样图像
  • 首先,将图像扩大两倍,新增以0填充

示例

int main(int argc, char *argv[])
{
  Mat src = imread(".\\res\\1.png"); //512*512 256 1024
  Mat gsrc;
  Mat lsrc;
  pyrDown(src, gsrc);
  pyrUp(src, lsrc);
  namedWindow("src");
  moveWindow("src", 0, 0);
  namedWindow("gsrc");
  moveWindow("gsrc", 512, 0);
  namedWindow("lsrc");
  moveWindow("lsrc", 0, 512);
  imshow("src", src);
  imshow("gsrc", gsrc);
  imshow("lsrc", lsrc);
  cvWaitKey(0);
  return 0;
}

十、实现两幅图像混合blending

实现两幅图像混合

  • dst = src1a+ src2(1-a)+ gammaa=[0~1]
  • 画面叠化( cross-dissolve )效果
  • addWeighted( src1, a, src2,1-a, 0.0, dst);

十一、图像旋转和镜像

图像的旋转

cv:: rotate(src, dst, type);

-ROTATE_180

-ROTATE_90_CLOCKWISE

-ROTATE 90 COUNTERCLOCKWISE

图像的镜像

cv:flip(src, dst, type); //type 0(x),1(y),-1

示例

int main(int argc, char *argv[])
{
  Mat img = imread(".\\res\\1.png");
  Mat rot;
  Mat fl;
  cv::rotate(img, rot, ROTATE_90_CLOCKWISE);
  cv::flip(img, fl,1); //type 0(x), 1(y), -1
  namedWindow("src");
  namedWindow("rot");
  namedWindow("fl");
  imshow("src", img);
  imshow("rot", rot);
  imshow("fl", fl);
  waitKey(0);
  return 0;
}

十二、通过ROI实现图像并排合并

int main(int argc, char *argv[])
{
  Mat img1 = imread(".\\res\\1.png");
  Mat img2 = imread(".\\res\\2.jpg");
  int height = img1.rows;
  int width1 = img1.cols;
  int width2 = img2.cols;
  // 将高图像等比缩放与低图像高度一致
  if (img1.rows > img2.rows)
  {
    height = img2.rows;
    width1 = img1.cols * ((float)img2.rows / (float)img1.rows);
    resize(img1, img1, Size(width1, height));
  }
  else if (img1.rows < img2.rows)
  {
    width2 = img2.cols * ((float)img1.rows / (float)img2.rows);
    resize(img2, img2, Size(width2, height));
  }
  //创建目标Mat
  Mat des;
  des.create(height, width1 + width2, img1.type());
  Mat r1 = des(Rect(0, 0, width1, height));
  img1.copyTo(r1);
  Mat r2 = des(Rect(width1, 0, width2, height));
  img2.copyTo(r2);
  namedWindow("des");
  imshow("des", des);
  waitKey(0);
  return 0;
}


相关文章
|
2月前
|
算法 计算机视觉
基于qt的opencv实时图像处理框架FastCvLearn实战
本文介绍了一个基于Qt的OpenCV实时图像处理框架FastCvLearn,通过手撕代码的方式详细讲解了如何实现实时人脸马赛克等功能,并提供了结果展示和基础知识回顾。
105 7
基于qt的opencv实时图像处理框架FastCvLearn实战
|
2月前
|
文字识别 计算机视觉 开发者
基于QT的OCR和opencv融合框架FastOCRLearn实战
本文介绍了在Qt环境下结合OpenCV库构建OCR识别系统的实战方法,通过FastOCRLearn项目,读者可以学习Tesseract OCR的编译配置和在Windows平台下的实践步骤,文章提供了技术资源链接,帮助开发者理解并实现OCR技术。
129 9
基于QT的OCR和opencv融合框架FastOCRLearn实战
|
1月前
|
并行计算 PyTorch TensorFlow
Ubuntu安装笔记(一):安装显卡驱动、cuda/cudnn、Anaconda、Pytorch、Tensorflow、Opencv、Visdom、FFMPEG、卸载一些不必要的预装软件
这篇文章是关于如何在Ubuntu操作系统上安装显卡驱动、CUDA、CUDNN、Anaconda、PyTorch、TensorFlow、OpenCV、FFMPEG以及卸载不必要的预装软件的详细指南。
3463 3
|
1月前
|
计算机视觉
Opencv错误笔记(一):通过cv2保存图片采用中文命名出现乱码
在使用OpenCV的cv2模块保存带有中文命名的图片时,直接使用cv2.imwrite()会导致乱码问题,可以通过改用cv2.imencode()方法来解决。
130 0
Opencv错误笔记(一):通过cv2保存图片采用中文命名出现乱码
|
13天前
|
编解码 监控 网络协议
如何使用FFmpeg实现RTSP推送H.264和H.265(HEVC)编码视频
本文详细介绍了如何使用FFmpeg实现RTSP推送H.264和H.265(HEVC)编码视频。内容涵盖环境搭建、编码配置、服务器端与客户端实现等方面,适合视频监控系统和直播平台等应用场景。通过具体命令和示例代码,帮助读者快速上手并实现目标。
41 6
|
1月前
|
缓存 并行计算 Ubuntu
Jetson 学习笔记(十一):jetson agx xavier 源码编译ffmpeg(3.4.1)和opencv(3.4.0)
本文是关于在Jetson AGX Xavier上编译FFmpeg(3.4.1)和OpenCV(3.4.0)的详细教程,包括编译需求、步骤、测试和可能遇到的问题及其解决方案。还提供了Jetson AGX Xavier编译CUDA版本的OpenCV 4.5.0的相关信息。
62 4
Jetson 学习笔记(十一):jetson agx xavier 源码编译ffmpeg(3.4.1)和opencv(3.4.0)
|
1月前
|
Ubuntu 应用服务中间件 nginx
Ubuntu安装笔记(三):ffmpeg(3.2.16)源码编译opencv(3.4.0)
本文是关于Ubuntu系统中使用ffmpeg 3.2.16源码编译OpenCV 3.4.0的安装笔记,包括安装ffmpeg、编译OpenCV、卸载OpenCV以及常见报错处理。
143 2
Ubuntu安装笔记(三):ffmpeg(3.2.16)源码编译opencv(3.4.0)
|
1月前
|
机器学习/深度学习 计算机视觉
目标检测笔记(六):如何结合特定区域进行目标检测(基于OpenCV的人脸检测实例)
本文介绍了如何使用OpenCV进行特定区域的目标检测,包括人脸检测实例,展示了两种实现方法和相应的代码。
64 1
目标检测笔记(六):如何结合特定区域进行目标检测(基于OpenCV的人脸检测实例)
|
1月前
|
Ubuntu Linux C语言
Ubuntu安装笔记(二):ubuntu18.04编译安装opencv 3.4.0 opencv_contrib3.4.0
本文介绍了在Ubuntu 18.04系统上编译安装OpenCV 3.4.0及其扩展包opencv_contrib 3.4.0的详细步骤,包括下载源码、安装依赖、配置CMake和编译安装,以及常见问题的解决方法。
92 1
Ubuntu安装笔记(二):ubuntu18.04编译安装opencv 3.4.0 opencv_contrib3.4.0
|
1月前
|
Java 数据安全/隐私保护
Java ffmpeg 实现视频加文字/图片水印功能
【10月更文挑战第22天】在 Java 中使用 FFmpeg 实现视频加文字或图片水印功能,需先安装 FFmpeg 并添加依赖(如 JavaCV)。通过构建 FFmpeg 命令行参数,使用 `drawtext` 滤镜添加文字水印,或使用 `overlay` 滤镜添加图片水印。示例代码展示了如何使用 JavaCV 实现文字水印。