[笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV图像处理-阿里云开发者社区

一、通过ROI感兴趣区域来裁剪图像

1.1 cv::Rect

示例

#include <opencv2\core.hpp>
#include <opencv2\imgcodecs.hpp>
#include <opencv2\highgui.hpp>
using namespace cv;
int main(int argc, char* argv) {
  Mat src = imread(".\\res\\1.png");
  Rect rect(0, 0, 200, 200);
  Mat roi = src(rect);
  MatSize roiSize = roi.size;
  namedWindow("src");
  namedWindow("roi", WINDOW_AUTOSIZE);
  imshow("src", src);
  imshow("roi", roi);
  waitKey(0);
  return 0;
}

二、RGB、YUV、GRAY像素格式介绍opencv像素格式转换cvtColor接口讲解

像素格式和灰度图

2.1 RGB、YUV、GRAY

RGB：红绿蓝

YUV：亮度、色度、饱和度

GRAY：0-255表示亮度，颜色没有意义时用灰度图，比如OCR

2.2 cvtColor(src,img,COLOR_BGR2GRAY)

三、手动实现转换灰度图并与opencv提供的函数做性能对比

自己动手实现

转换公式：GRay = (R30 + G59 + B*11 +50)/100

#include <opencv2\core.hpp>
#include <opencv2\imgcodecs.hpp>
#include <opencv2\highgui.hpp>
#include <opencv2\imgproc.hpp>
using namespace cv;
int PrintMs(const char *text = "")
{
  static long long last = 0;
  long long cur = getTickCount();
  if (last == 0) {
    last = cur;
  }
  long long ms = ((double)(cur - last) / getTickFrequency()) * 1000;
  if (*text != 0) {
    printf("%s = %d ms\n", text, ms);
  }
  last = getTickCount();
  return 0;
}
void RGBToGray(Mat src, Mat &des) 
{
  des.create(src.rows, src.cols, CV_8UC1);
  for (int r = 0; r < src.rows; r++)
  {
    for (int c = 0; c < src.cols; c++)
    {
      Vec3b &m = src.at<Vec3b>(r, c);
      // GRay = (R*30 + G*59 + B*11 +50)/100
      int gray = (m[2] * 30 + m[1] * 59 + m[0] * 11 + 50) / 100;
      des.at<uchar>(r, c) = gray;
    }
  }
}
int main(int argc, char* argv) {
  Mat src = imread(".\\res\\1.png");
  Mat gray;
  Mat mygray;
  PrintMs("");
  cvtColor(src, gray, COLOR_BGR2GRAY);
  PrintMs("gray ms");
  RGBToGray(src, mygray);
  PrintMs("mygray ms");
  namedWindow("gray");
  imshow("gray", gray);
  namedWindow("mygray");
  imshow("mygray", mygray);
  namedWindow("src");
  imshow("src", src);
  waitKey(0);
  return 0;
}

cvtColor 使用了多线程进行计算会快很多。

四、通过OpenCV阈值函数threshold实现图像的二值化

opencv-阈值处理

4.1 二值化和阈（yu 4）值

4.1.1 二进制阈值化

threshold(gray, bin, 100, 255, THRESH_BINARY);

4.1.2 反二进制阈值化

threshold(gray, ibin, 100, 255, THRESH_BINARY_INV);

示例代码

int main(int argc, char* argv) {
  Mat src = imread(".\\res\\1.png");
  Mat bin;
  Mat ibin;
  Mat gray;
  cvtColor(src, gray, COLOR_BGR2GRAY);
  //二进制阈值化
  threshold(gray, bin, 100, 255, THRESH_BINARY);
  //反二进制阈值化
  threshold(gray, ibin, 100, 255, THRESH_BINARY_INV);
  namedWindow("src");
  namedWindow("bin");
  namedWindow("ibin");
  imshow("src", src);
  imshow("bin", bin);
  imshow("ibin", ibin);
  waitKey(0);
  return 0;
}

五、通过OpenCV图像亮度和对比度

5.1 对比度和亮度

saturate_cast<uchar>()；

在图像处理方面，无论是加是减，乘除，都会超出一个像素灰度值的范围（0～255），saturate_cast函数的作用即是：当运算完之后，结果为负，则转为0，结果超出255，则为255。

六、通过对Mat遍历修改图像亮度和对比度与convertTo性能对比

#include <opencv2\core.hpp>
#include <opencv2\imgcodecs.hpp>
#include <opencv2\highgui.hpp>
#include <opencv2\imgproc.hpp>
using namespace cv;
int PrintMs(const char *text = "")
{
  static long long last = 0;
  long long cur = getTickCount();
  if (last == 0) {
    last = cur;
  }
  long long ms = ((double)(cur - last) / getTickFrequency()) * 1000;
  if (*text != 0) {
    printf("%s = %d ms\n", text, ms);
  }
  last = getTickCount();
  return 0;
}
//
///@para a float 对比度 1.0~3.0
///@para b int 亮度 0~100
void ChangeGain(Mat &src, Mat &des, float a, int b)
{
  //g(r,c) = a*f(r,c) + b
  des.create(src.rows, src.cols, src.type());
  for (int r = 0; r < src.rows; r++)
  {
    for (int c = 0; c < src.cols; c++)
    {
      for (int i = 0; i < 3; i++)
      {
        des.at<Vec3b>(r, c)[i] = saturate_cast<uchar>(a * src.at<Vec3b>(r, c)[i] + b);
      }
    }
  }
}
int main(int argc, char *argv[])
{
  //调整对比度和亮度
  Mat src = imread(".\\res\\1.png");
  Mat des;
  PrintMs("");
  ChangeGain(src, des, 2.0, 50);
  PrintMs("ChangeGain");
  Mat des2;
  src.convertTo(des2, -1, 2.0, 50);
  PrintMs("convertTo");
  namedWindow("src");
  namedWindow("des");
  namedWindow("des2");
  imshow("src", src);
  imshow("des", des);
  imshow("des2", des2);
  waitKey(0);
  return 0;
}

七、图像尺寸调整算法介绍并手动实现近邻算法

是对图像进行缩放的一种方式

7.1 图像尺寸调整

INTER_NEAREST 近邻算法

性能好效果差

CV＿INTER_LINEAR 双线性内插算法（缺省使用）

性能稍差，但效果好

void xresize(Mat &src, Mat &des, Size size)
{
  des.create(size, src.type());
  //映射的原图坐标
  int sx, sy = 0;
  float fx = (float)src.cols / des.cols;
  float fy = (float)src.rows / des.rows; 
  for (int x = 0; x < des.cols; x++)
  {
    sx = fx * x + 0.5;
    for (int y = 0; y <des.rows; y++)
    {
      sy = fy * y + 0.5;
      des.at<Vec3b>(y, x) = src.at<Vec3b>(sy, sx);
    }
  }
}
int main(int argc, char *argv[])
{
  Mat src = imread("1.png"); //512*512 256 1024
  Mat img256,img1024,des256,des1024;
  resize(src, des256, Size(256, 256), 0, 0, INTER_NEAREST);
  PrintMs();
  //xresize(src, img256, Size(256, 256));
  //PrintMs("img256");
  xresize(src, img1024, Size(1024, 1024));
  //resize(src, img1024, Size(4024, 4024), 0, 0, INTER_NEAREST);
  PrintMs("img1024");
  //resize(src, des256, Size(1024, 1024), 0, 0, INTER_NEAREST);
  resize(src, des1024, Size(1024, 1024), 0, 0, INTER_LINEAR);
  PrintMs("des1024");
  namedWindow("src");
  //namedWindow("img256");
  namedWindow("des1024");
  namedWindow("img1024");
  imshow("src", src);
  imshow("img1024", img1024);
  imshow("des1024", des1024);
  //imshow("img1024", img1024);
  waitKey(0);
  return 0;
}

八、调用opencv的resize使用近邻算法并与自定义算法比较

滤波

输入图像中像素的小邻域来产生输出图像的方法，在信号处理中这种方法称为滤波( filtering)。其中，最常用的是线性滤波，输出像素是输入邻域像素的加权和。

双线性内插值

三十分钟理解：线性插值，双线性插值Bilinear Interpolation算法

是由源图像位置在它附近的2*2区域4个邻近象素的值通过加权平均计算得出的
低通滤波性质，使高频分量受损，图像轮廓可能会有一点模糊

九、高斯金字塔和拉普拉斯金字塔调整图像尺寸详解

图像金字塔

也是对图像进行缩放的一种方式

高斯金字塔(Gaussian pyramid)

用来向下采样缩小

获取G(i+1)将G(i)与高斯内核卷积
将所有偶数行和列去除

高斯内核

拉普拉斯金字塔(Laplacian pyramid)

用来从金字塔低层图像重建上层未采样图像放大

用来从金字塔低层图像重建上层未采样图像
首先，将图像扩大两倍，新增以0填充

示例

int main(int argc, char *argv[])
{
  Mat src = imread(".\\res\\1.png"); //512*512 256 1024
  Mat gsrc;
  Mat lsrc;
  pyrDown(src, gsrc);
  pyrUp(src, lsrc);
  namedWindow("src");
  moveWindow("src", 0, 0);
  namedWindow("gsrc");
  moveWindow("gsrc", 512, 0);
  namedWindow("lsrc");
  moveWindow("lsrc", 0, 512);
  imshow("src", src);
  imshow("gsrc", gsrc);
  imshow("lsrc", lsrc);
  cvWaitKey(0);
  return 0;
}

十、实现两幅图像混合blending

实现两幅图像混合

dst = src1a+ src2(1-a)+ gammaa=[0~1]
画面叠化( cross-dissolve )效果
addWeighted( src1, a, src2,1-a, 0.0, dst);

十一、图像旋转和镜像

图像的旋转

cv:: rotate(src, dst, type);

-ROTATE_180

-ROTATE_90_CLOCKWISE

-ROTATE 90 COUNTERCLOCKWISE

图像的镜像

cv:flip(src, dst, type); //type 0(x),1(y),-1

示例

int main(int argc, char *argv[])
{
  Mat img = imread(".\\res\\1.png");
  Mat rot;
  Mat fl;
  cv::rotate(img, rot, ROTATE_90_CLOCKWISE);
  cv::flip(img, fl,1); //type 0(x), 1(y), -1
  namedWindow("src");
  namedWindow("rot");
  namedWindow("fl");
  imshow("src", img);
  imshow("rot", rot);
  imshow("fl", fl);
  waitKey(0);
  return 0;
}

十二、通过ROI实现图像并排合并

int main(int argc, char *argv[])
{
  Mat img1 = imread(".\\res\\1.png");
  Mat img2 = imread(".\\res\\2.jpg");
  int height = img1.rows;
  int width1 = img1.cols;
  int width2 = img2.cols;
  // 将高图像等比缩放与低图像高度一致
  if (img1.rows > img2.rows)
  {
    height = img2.rows;
    width1 = img1.cols * ((float)img2.rows / (float)img1.rows);
    resize(img1, img1, Size(width1, height));
  }
  else if (img1.rows < img2.rows)
  {
    width2 = img2.cols * ((float)img1.rows / (float)img2.rows);
    resize(img2, img2, Size(width2, height));
  }
  //创建目标Mat
  Mat des;
  des.create(height, width1 + width2, img1.type());
  Mat r1 = des(Rect(0, 0, width1, height));
  img1.copyTo(r1);
  Mat r2 = des(Rect(width1, 0, width2, height));
  img2.copyTo(r2);
  namedWindow("des");
  imshow("des", des);
  waitKey(0);
  return 0;
}

[笔记]OpenCV+FFmpeg+Qt实现视频编辑器之OpenCV图像处理