OpenCV-实现背景分离（可用于更改证件照底色）-阿里云开发者社区

实现原理

图像背景分离是常见的图像处理方法之一，属于图像分割范畴。如何较优地提取背景区域，难点在于两个：

背景和前景的分割。针对该难点，通过人机交互等方法获取背景色作为参考值，结合差值均方根设定合理阈值，实现前景的提取，PS上称为蒙版；提取过程中，可能会遇到前景像素丢失的情况，对此可通过开闭运算或者提取外部轮廓线的方式，将前景内部填充完毕。

前景边缘轮廓区域的融合。如果不能很好地融合，就能看出明显的抠图痕迹，所以融合是很关键的一步。首先，对蒙版区（掩膜）进行均值滤波，其边缘区会生成介于0-255之间的缓存区；其次，通过比例分配的方式对缓存区的像素点上色，我固定的比例为前景0.3背景0.7，因为背景为单色区，背景比例高，可以使得缓存区颜色倾向于背景区，且实现较好地过渡；最后，蒙版为0的区域上背景色，蒙版为255的区域不变。

至此，图像实现了分割，完成背景分离。C++实现代码如下。

功能函数代码

// 背景分离
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
  cv::Mat bgra, mask;
  // 转化为BGRA格式，带透明度，4通道
  cvtColor(src, bgra, COLOR_BGR2BGRA);
  mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
  int row = src.rows;
  int col = src.cols;
  // 异常数值修正
  input.p.x = max(0, min(col, input.p.x));
  input.p.y = max(0, min(row, input.p.y));
  input.thresh = max(5, min(100, input.thresh));
  input.transparency = max(0, min(255, input.transparency));
  input.size = max(0, min(30, input.size));
  // 确定背景色
  uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0];
  uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1];
  uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2];
  // 计算蒙版区域（掩膜）
  for (int i = 0; i < row; ++i)
  {
    uchar *m = mask.ptr<uchar>(i);
    uchar *b = src.ptr<uchar>(i);
    for (int j = 0; j < col; ++j)
    {
      if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
      {
        m[j] = 255;
      }
    }
  }
  // 寻找轮廓，作用是填充轮廓内黑洞
  vector<vector<Point>> contour;
  vector<Vec4i> hierarchy;
  // RETR_TREE以网状结构提取所有轮廓，CHAIN_APPROX_NONE获取轮廓的每个像素
  findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
  drawContours(mask, contour, -1, Scalar(255), FILLED,4);
  // 闭运算
  cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5));
  cv::morphologyEx(mask, mask, MORPH_CLOSE, element);
  // 掩膜滤波，是为了边缘虚化
  cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
  // 改色
  for (int i = 0; i < row; ++i)
  {
    uchar *r = bgra.ptr<uchar>(i);
    uchar *m = mask.ptr<uchar>(i);
    for (int j = 0; j < col; ++j)
    {
      // 蒙版为0的区域就是标准背景区
      if (m[j] == 0)
      {
        r[4 * j] = uchar(input.color[0]);
        r[4 * j + 1] = uchar(input.color[1]);
        r[4 * j + 2] = uchar(input.color[2]);
        r[4 * j + 3] = uchar(input.transparency);
      }
      // 不为0且不为255的区域是轮廓区域（边缘区），需要虚化处理
      else if (m[j] != 255)
      {
        // 边缘处按比例上色
        int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
        int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
        int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
        int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
        newb = max(0, min(255, newb));
        newg = max(0, min(255, newg));
        newr = max(0, min(255, newr));
        newt = max(0, min(255, newt));
        r[4 * j] = newb;
        r[4 * j + 1] = newg;
        r[4 * j + 2] = newr;
        r[4 * j + 3] = newt;
      }
    }
  }
  return bgra;
}

C++测试代码

#include <opencv2/opencv.hpp>
#include <iostream>
#include <algorithm>
#include <time.h>
using namespace cv;
using namespace std;
// 输入参数
struct Inputparama {
  int thresh = 30;                               // 背景识别阈值，该值越小，则识别非背景区面积越大，需有合适范围，目前为5-60
  int transparency = 255;                        // 背景替换色透明度，255为实，0为透明
  int size = 7;                                  // 非背景区边缘虚化参数，该值越大，则边缘虚化程度越明显
  cv::Point p = cv::Point(0, 0);                 // 背景色采样点，可通过人机交互获取，也可用默认(0,0)点颜色作为背景色
  cv::Scalar color = cv::Scalar(255, 255, 255);  // 背景色
};
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input);
// 计算差值均方根
int geiDiff(uchar b,uchar g,uchar r,uchar tb,uchar tg,uchar tr)
{ 
  return  int(sqrt(((b - tb)*(b - tb) + (g - tg)*(g - tg) + (r - tr)*(r - tr))/3));
}
int main()
{
  cv::Mat src = imread("111.jpg");
  Inputparama input;
  input.thresh = 100;
  input.transparency = 255;
  input.size = 6;
  input.color = cv::Scalar(0, 0, 255);
  clock_t s, e;
  s = clock();
  cv::Mat result = BackgroundSeparation(src, input);
  e = clock();
  double dif = e - s;
  cout << "time:" << dif << endl;
  imshow("original", src);
  imshow("result", result);
  imwrite("result1.png", result);
  waitKey(0);
  return 0;
}
// 背景分离
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
  cv::Mat bgra, mask;
  // 转化为BGRA格式，带透明度，4通道
  cvtColor(src, bgra, COLOR_BGR2BGRA);
  mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
  int row = src.rows;
  int col = src.cols;
  // 异常数值修正
  input.p.x = max(0, min(col, input.p.x));
  input.p.y = max(0, min(row, input.p.y));
  input.thresh = max(5, min(100, input.thresh));
  input.transparency = max(0, min(255, input.transparency));
  input.size = max(0, min(30, input.size));
  // 确定背景色
  uchar ref_b = src.at<Vec3b>(input.p.y, input.p.x)[0];
  uchar ref_g = src.at<Vec3b>(input.p.y, input.p.x)[1];
  uchar ref_r = src.at<Vec3b>(input.p.y, input.p.x)[2];
  // 计算蒙版区域（掩膜）
  for (int i = 0; i < row; ++i)
  {
    uchar *m = mask.ptr<uchar>(i);
    uchar *b = src.ptr<uchar>(i);
    for (int j = 0; j < col; ++j)
    {
      if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
      {
        m[j] = 255;
      }
    }
  }
  // 寻找轮廓，作用是填充轮廓内黑洞
  vector<vector<Point>> contour;
  vector<Vec4i> hierarchy;
  // RETR_TREE以网状结构提取所有轮廓，CHAIN_APPROX_NONE获取轮廓的每个像素
  findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
  drawContours(mask, contour, -1, Scalar(255), FILLED,4);
  // 闭运算
  cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5));
  cv::morphologyEx(mask, mask, MORPH_CLOSE, element);
  // 掩膜滤波，是为了边缘虚化
  cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
  // 改色
  for (int i = 0; i < row; ++i)
  {
    uchar *r = bgra.ptr<uchar>(i);
    uchar *m = mask.ptr<uchar>(i);
    for (int j = 0; j < col; ++j)
    {
      // 蒙版为0的区域就是标准背景区
      if (m[j] == 0)
      {
        r[4 * j] = uchar(input.color[0]);
        r[4 * j + 1] = uchar(input.color[1]);
        r[4 * j + 2] = uchar(input.color[2]);
        r[4 * j + 3] = uchar(input.transparency);
      }
      // 不为0且不为255的区域是轮廓区域（边缘区），需要虚化处理
      else if (m[j] != 255)
      {
        // 边缘处按比例上色
        int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
        int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
        int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
        int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
        newb = max(0, min(255, newb));
        newg = max(0, min(255, newg));
        newr = max(0, min(255, newr));
        newt = max(0, min(255, newt));
        r[4 * j] = newb;
        r[4 * j + 1] = newg;
        r[4 * j + 2] = newr;
        r[4 * j + 3] = newt;
      }
    }
  }
  return bgra;
}