前面说到,要使用Labwindows + NI Vision(IMAQ Vision)这套商用开发框架来做数图课设。很明显,这套虚拟仪器开发平台由NI Instrument(美国国家仪器公司)开发的。大名鼎鼎的Labview软件就是这个公司开发的。相比较而言,Labwindows使用ANSI C开发,但应用场景是差不多的。
虚拟仪器(VI)的实质是利用计算机的IO接口完成信号的采集、测试与调试,凭借现代PC强大的计算能力来实现信号数据的运算、分析和处理,并使用显示器来模拟传统仪器的控制面板,从而完成各种测试功能的一种计算机仪器系统。
在做课程作业的时候,遇到了一个很有趣的应用。输入是米粒,比背景灰度要低,目的是输出米粒的颗数、面积、周长和孔数,这是工业上的一个很常见的应用。具体处理过程是二值化后使用低通滤波,并计算各种性质。
界面设计如下,可以看到米粒的详细情况。
让我感兴趣的,是通过怎样的算法能够得到米粒的数量?之前曾经用过OpenCV中找最大外界矩形这个函数,但没有具体了解算法实现。直觉告诉我原理应该是相似的。
1.连通区域
可以看到,每一个米粒之间都是不连通的。这里就就提出了一个概念。连通区域(Connected Component)是指图像中相邻并有相同像素值的图像区域。连通区域分析(Connected Component Analysis,Connected Component Labeling)是指将图像中的各个连通区域找出并标记。
二值图像分析最重要的方法就是连通区域标记,它是所有二值图像分析的基础,它通过对二值图像中白色像素(目标)的标记,让每个单独的连通区域形成一个被标识的块,进一步的我们就可以获取这些块的轮廓、外接矩形、质心、不变矩等几何参数。如果要得到米粒的数量,那么通过连通区域分析(这里是二值图像的连通区域分析),就可以得到标记的数量,从而得到米粒的数量。
首先,连通区域的定义一般有两种,分为4邻接和8邻接,上图就知道了。下面这幅图中,如果考虑4邻接,则有3个连通区域,8邻接则是2个。
从连通区域的定义可以知道,一个连通区域是由具有相同像素值的相邻像素组成像素集合,因此,我们就可以通过这两个条件在图像中寻找连通区域,对于找到的每个连通区域,我们赋予其一个唯一的标识(Label),以区别其他连通区域。
连通区域分析的基本算法有两种:1)Two-Pass两便扫描法 2)Seed-Filling种子填充法 。
2.Two-Pass算法
两遍扫描法(Two-Pass),正如其名,指的就是通过扫描两遍图像,就可以将图像中存在的所有连通区域找出并标记。
(1)第一次扫描:
访问当前像素B(x,y),如果B(x,y) == 1:
a、如果B(x,y)的领域中像素值都为0,则赋予B(x,y)一个新的label:
label += 1, B(x,y) = label;
b、如果B(x,y)的领域中有像素值 > 1的像素Neighbors:
1)将Neighbors中的最小值赋予给B(x,y):
B(x,y) = min{Neighbors}
2)记录Neighbors中各个值(label)之间的相等关系,即这些值(label)同属同一个连通区域;
labelSet[i] = { label_m, .., label_n },labelSet[i]中的所有label都属于同一个连通区域(注:这里可以有多种实现方式,只要能够记录这些具有相等关系的label之间的关系即可)
(2)第二次扫描:
访问当前像素B(x,y),如果B(x,y) > 1:
a、找到与label = B(x,y)同属相等关系的一个最小label值,赋予给B(x,y);
完成扫描后,图像中具有相同label值的像素就组成了同一个连通区域。
说了一堆数学语言,其实用图很好理解
3.Seed-Filling算法
种子填充方法来源于计算机图形学,常用于对某个图形进行填充。它基于区域生长算法。至于区域生长算法是什么,可以参照我的这篇文章。
下面给出基于种子填充法的连通区域分析方法:
(1)扫描图像,直到当前像素点B(x,y) == 1:
a、将B(x,y)作为种子(像素位置),并赋予其一个label,然后将该种子相邻的所有前景像素都压入栈中;
b、弹出栈顶像素,赋予其相同的label,然后再将与该栈顶像素相邻的所有前景像素都压入栈中;
c、重复b步骤,直到栈为空;
此时,便找到了图像B中的一个连通区域,该区域内的像素值被标记为label;
(2)重复第(1)步,直到扫描结束;
扫描结束后,就可以得到图像B中所有的连通区域;
同样的,上动图
4.算法实现
NI Vision 中的算子定义如下
//统计标记数量
int imaqLabel(Image* dest, Image* source, int connectivity8, int* particleCount);
//得到粒子的具体信息
ParticleReport* imaqGetParticleInfo(Image* image, int connectivity8,
ParticleInfoMode mode, int* reportCount);
OpenCV中也有相应的算子
//带统计信息
int cv::connectedComponents(
InputArray image, // 输入二值图像,黑色背景
OutputArray labels, // 输出的标记图像,背景index=0
int connectivity = 8, // 连通域,默认是8连通
int ltype = CV_32S // 输出的labels类型,默认是CV_32S
)
//不带统计信息
int cv::connectedComponentsWithStats(
InputArray image, // 输入二值图像,黑色背景
OutputArray labels, // 输出的标记图像,背景index=0
OutputArray stats, // 统计信息,包括每个组件的位置、宽、高与面积
OutputArray centroids, // 每个组件的中心位置坐标cx, cy
int connectivity, // 寻找连通组件算法的连通域,默认是8连通
int ltype, // 输出的labels的Mat类型CV_32S
int ccltype // 连通组件算法
)
这里参照其他博客实现一下Two-Pass算法,Seed-Filling算法就偷懒不搞了。
/********************************************************************
* Created by 杨帮杰 on 10/21/18
* Right to use this code in any way you want without
* warranty, support or any guarantee of it working
* E-mail: yangbangjie1998@qq.com
* Association: SCAU 华南农业大学
********************************************************************/
#include
#include
#include
#include
#include
#include
#include
#include
#include
using namespace std;
using namespace cv;
/**
* @brief TwoPassLabel 对二值图像连通域进行标记
* @param bwImg 输入必须为二值图像
* @return labImg 已经标记的灰度图像,不同标记灰度值不同
*/
Mat TwoPassLabel(const Mat &bwImg)
{
assert(bwImg.type() == CV_8UC1 );
Mat labImg;
bwImg.convertTo( labImg, CV_32SC1 );
int rows = bwImg.rows - 1;
int cols = bwImg.cols - 1;
//二值图像像素值为0或1,为了不冲突,label从2开始
int label = 2;
vector labelSet;
labelSet.push_back(0);
labelSet.push_back(1);
//第一次扫描
int *data_prev = (int*)labImg.data;
int *data_cur = (int*)(labImg.data + labImg.step );
int left, up;//指针指向的像素点的左方点和上方点
for( int i = 1; i < rows; i++ )
{
data_cur++;
data_prev++;
for( int j = 1; j < cols; j++, data_cur++, data_prev++ )
{
if( *data_cur!=1 )//当前点不为1,扫描下一个点
continue;
left = *(data_cur-1);
up = *data_prev;
int neighborLabels[2];
int cnt = 0;
if( left > 1 )
neighborLabels[cnt++] = left;
if( up > 1)
neighborLabels[cnt++] = up;
if(!cnt)
{
labelSet.push_back(label);
*data_cur = label;
label++;
continue;
}
//将当前点标记设为左点和上点的最小值
int smallestLabel = neighborLabels[0];
if(cnt==2 && neighborLabels[1] < smallestLabel )
smallestLabel = neighborLabels[1];
*data_cur = smallestLabel;
//设置等价表,这里可能有点难理解
//左点有可能比上点小,也有可能比上点大,两种情况都要考虑,例如
//0 0 1 0 1 0 x x 2 x 3 x
//1 1 1 1 1 1 -> 4 4 2 2 2 2
//要将labelSet中3的位置设置为2
for(int k = 0; k < cnt; k++ )
{
int neiLabel = neighborLabels[k];
int oldSmallestLabel = labelSet[neiLabel];
if(oldSmallestLabel > smallestLabel )
{
labelSet[oldSmallestLabel] = smallestLabel;
}
else if(oldSmallestLabel x 4 2 2 2
//1 1 1 0 1 5 4 2 x 2
//上面这波操作中,把labelSet[4]设为2,但labelSet[5]仍为4
//这里可以将labelSet[5]设为2
for( size_t i = 2; i < labelSet.size(); i++ )
{
int curLabel = labelSet[i];
int prelabel = labelSet[curLabel];
while(prelabel != curLabel)
{
curLabel = prelabel;
prelabel = labelSet[prelabel];
}
labelSet[i] = curLabel;
}
//第二次扫描,用labelSet进行更新,最后一列
data_cur = (int*)labImg.data;
for(int i = 0; i < rows; i++ )
{
for(int j = 0; j < cols; j++, data_cur++)
*data_cur = labelSet[*data_cur];
data_cur++;
}
return labImg;
}
/**
* @brief LabelColor 对连通域分析得到的图像(矩阵)添加颜色
* @param labelImg 二值图像连通域分析得到的图像(每个点32位)
* @param num 标记的个数
* @return coloerLabelImg 带有颜色的标记图像
*/
Mat LabelColor(const Mat& labelImg, int& num)
{
num = 0;
assert(labelImg.empty() == false);
assert(labelImg.type() == CV_32SC1);
map colors;
int rows = labelImg.rows;
int cols = labelImg.cols;
Mat colorLabelImg = Mat::zeros(rows, cols, CV_8UC3);
uchar r = 255 * (rand()/(1.0 + RAND_MAX));
uchar g = 255 * (rand()/(1.0 + RAND_MAX));
uchar b = 255 * (rand()/(1.0 + RAND_MAX));
for (int i = 0; i < rows; i++)
{
const int* data_src = (int*)labelImg.ptr(i);
uchar* data_dst = colorLabelImg.ptr(i);
for (int j = 0; j < cols; j++)
{
int pixelValue = data_src[j];
if (pixelValue > 1)
{
if (colors.count(pixelValue) == 0)
{
colors[pixelValue] = Scalar(b,g,r);
r = 255 * (rand()/(1.0 + RAND_MAX));
g = 255 * (rand()/(1.0 + RAND_MAX));
b = 255 * (rand()/(1.0 + RAND_MAX));
num++;
}
Scalar color = colors[pixelValue];
*data_dst++ = color[0];
*data_dst++ = color[1];
*data_dst++ = color[2];
}
else
{
data_dst++;
data_dst++;
data_dst++;
}
}
}
return colorLabelImg;
}
int main()
{
Mat binImage = imread("/media/jacob/存储盘2/图像资料/3.3 实验参考图像/rice.bmp", 0);
threshold(binImage, binImage, 107, 1, CV_THRESH_BINARY);
Mat labelImg;
int num; //标记的数量
labelImg = TwoPassLabel(binImage);
//彩色显示
Mat colorLabelImg;
colorLabelImg = LabelColor(labelImg, num);
cout << "total number of label:" << num << endl;
imshow("colorImg", colorLabelImg);
//灰度显示
Mat grayImg;
labelImg.convertTo(grayImg, CV_8UC1);
imshow("grayImg", grayImg);
waitKey(0);
return 0;
}
Beautiful ~~
Reference:
OpenCV实现图像连通组件标记与分析
OpenCV-二值图像连通域分析
数字图像处理技术 ——邓继忠(我的任课老师)