为基于OpenCV的图像处理程序编写界面—关于QT\MFC\CSharp的选择以及GOCW的介绍

简介: 基于OpenCV编写图像处理项目,除了算法以外,比较重要一个问题就是界面设计问题。对于c++语系的程序员来说,一般来说有QT/MFC两种考虑。QT的确功能强大,特别是QML编写android界面很有一套(https://www.cnblogs.com/jsxyhelu/p/8286476.html),在树莓派上进行设计也很方便(https://www.cnblogs.com/jsxyhelu/p/7839062.html);但是使用QT的一个现实问题就是和现有平台的结合,比如客户需要将结果导出到excel中,使用QT就比较别扭(当然不是说不可以)。
        基于OpenCV编写图像处理项目,除了算法以外,比较重要一个问题就是界面设计问题。对于c++语系的程序员来说,一般来说有QT/MFC两种考虑。QT的确功能强大,特别是QML编写android界面很有一套( https://www.cnblogs.com/jsxyhelu/p/8286476.html),在树莓派上进行设计也很方便( https://www.cnblogs.com/jsxyhelu/p/7839062.html);但是使用QT的一个现实问题就是和现有平台的结合,比如客户需要将结果导出到excel中,使用QT就比较别扭(当然不是说不可以)。所以现在我一般这样来做:对于Android和PI,或者需要在Linux上运行的项目,使用QT编写界面,调用Opencv函数;对于需要在windows上运行的项目,使用MFC编写界面,直接就可以引用OpenCV。
        有人会吐槽MFC使用起来非常麻烦,这点我非常同意。但MFC经过这么多年的发展,今日仍有活力,并且短时间内不会消失。因为相比较其他一些所见即所得的语言和环境来说(QT/Csharp),mfc的消息映射机制和坐标体系等,的确有它的优势,对于图像处理程序来说尤其如此;加以积累,能够快速做出很多专业的东西;近期出现的ribbon界面也为mfc加分不少( https://www.cnblogs.com/jsxyhelu/p/9209052.html
       选择了MFC这个方向,思考图像处理程序问题,一般来说分为“处理图像”和"处理视频"两类:对于图像处理来说,我提供的GOPaint框架( https://www.cnblogs.com/jsxyhelu/p/6440910.html)能够提供一个基本的静态图像处理框架;而GOMFCTemplate2( https://www.cnblogs.com/jsxyhelu/p/GOMFCTemplate2.html)则适合用来处理视频。这两种都 分别成功运用于多种视频处理项目中。
       但是这里我想更进一步:希望能够用Csharp编写界面,因为它更好用;但是又不想引入EmguCV类似的库,因为里面很多东西不是我需要的。那么最直接的方法就是使用Csharp调用基于Opencv编写的类库文件(Dll)的,我取名叫做GreenOpenCsharpWarper(GOCW)
       经过比较长时间的探索研究,目前的GOCW已经可以直接以函数的形式在内存中传递bitmap和Mat对象,达到了函数级别的应用。因为这里涉及到托管代码编写,也就是CLR程序编写,所以有比较复杂的地方;为了展现GOCW的优良特性,我编写实现GOGPY项目,也就是一个"Csharp编写界面,OpenCV实现算法的实时视频处理程序”,相关细节都包含其中。之所以叫“GPY”,是采集硬件这块,我采用了成像质量较好的高拍仪设备(GaoPaiYi)。
       这里简单将最核心内容进行讲解。GOCW的核心问题,无非就是基于CLR之上的两个方向的数据流转换。核心函数为
Bitmap ^  GOClrClass : :testMethod(cli : :array < unsigned  char > ^ pCBuf1)
{
    pin_ptr <System : :Byte > p1  =  &pCBuf1[ 0];
     unsigned  char * pby1  = p1;
    cv : :Mat img_data1(pCBuf1 - >Length, 1,CV_8U,pby1);
    cv : :Mat img_object  = cv : :imdecode(img_data1,IMREAD_UNCHANGED); //获得数据到img_object中去
     //////////////////////////////////处理过程///////////////////////////////////////
    cvtColor(img_object,img_object, 40);
    
     /////////////////////////////////////////////////////////////////////////////////
    Bitmap ^ bb  = MatToBitmap(img_object);
     if ( !img_object.data)
         return nullptr;
    std : :vector <uchar > buf;
    cv : :imencode( ".jpg", img_object, buf);
     return bb;
}
以及
System : :Drawing : :Bitmap ^ MatToBitmap( const cv : :Mat & img)
{
     if (img.type()  != CV_8UC3)
    {
         throw gcnew NotSupportedException( "Only images of type CV_8UC3 are supported for conversion to Bitmap");
    }
     //create the bitmap and get the pointer to the data
    PixelFormat fmt(PixelFormat : :Format24bppRgb);
    Bitmap  ^bmpimg  = gcnew Bitmap(img.cols, img.rows, fmt);
    BitmapData  ^data  = bmpimg - >LockBits(System : :Drawing : :Rectangle( 00, img.cols, img.rows), ImageLockMode : :WriteOnly, fmt);
     //byte *dstData = reinterpret_cast<byte*>(data->Scan0.ToPointer());
    Byte  *dstData  =  reinterpret_cast <Byte * >(data - >Scan0.ToPointer());
     unsigned  char  *srcData  = img.data;
     for ( int row  =  0; row  < data - >Height;  ++row)
    {
        memcpy( reinterpret_cast < void * >( &dstData[row *data - >Stride]),  reinterpret_cast < void * >( &srcData[row *img.step]), img.cols *img.channels());
    }
    bmpimg - >UnlockBits(data);
     return bmpimg;
}
 
而在chsarp中,直接
Bitmap b = new Bitmap(cam.Width, cam.Height, cam.Stride, PixelFormat.Format24bppRgb, m_ip);
// If the image is upsidedown
b.RotateFlip(RotateFlipType.RotateNoneFlipY);
srcImage = b;
if (picPreview.Image != null)
    picPreview.Image.Dispose();
//调用clr+opencv图像处理模块
MemoryStream ms = new MemoryStream();
b.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg);
byte[] bytes = ms.GetBuffer();
Bitmap bitmap = client.testMethod(bytes);
就可以调用,并且获得结果。
 
以下内容为2017年更新的内容,适当参考:
一、CLR编写的DLL部分
1、按照正常方法引入Opencv;
2、提供接口函数,进行图像处理(这里只是实现了cvtColor,实际过程中可以用自己编写的复杂函数)
String ^  Class1 : :Method(cli : :array < unsigned  char > ^ pCBuf1)
{
     pin_ptr <System : :Byte > p1  =  &pCBuf1[ 0];
      unsigned  char * pby1  = p1;
     cv : :Mat img_data1(pCBuf1 - >Length, 1,CV_8U,pby1);
     cv : :Mat img_object  = cv : :imdecode(img_data1,IMREAD_UNCHANGED);
      //////////////////////////////////处理过程/////////
     cvtColor(img_object,img_object, 40);
      /////////////////////////////////////////////////////////////////////////////////
      if ( !img_object.data)
         return nullptr;
      //获得目录,保存文件
     cv : :imwrite( "c:/Method.jpg",img_object);
      return  "c:/Method.jpg";
}
 
String ^  Class1 : :Method2(cli : :array < unsigned  char > ^ pCBuf1)
{
    pin_ptr <System : :Byte > p1  =  &pCBuf1[ 0];
     unsigned  char * pby1  = p1;
    cv : :Mat img_data1(pCBuf1 - >Length, 1,CV_8U,pby1);
    cv : :Mat img_object  = cv : :imdecode(img_data1,IMREAD_UNCHANGED);
     //////////////////////////////////处理过程///////////////////////
    cvtColor(img_object,img_object, 6);
  /////////////////////////////////////////////////////////////////////////////////
     if ( !img_object.data)
         return nullptr;
     //获得目录,保存文件
    cv : :imwrite( "c:/Method2.jpg",img_object);
     return  "c:/Method2.jpg";
}
二、Winform调用接口部分(TIP:不仅可以用Winform调用,asp.net/webservice都是可以调用的)
1、直接引用clr dll
2、编写helper文件(应该也可以叫做 warpper),通过外部IO的方法获取clr dll的文件
  class GOCsharpHelper
    {
        Class1 client  =  new Class1();
        string strResult1  = null;
        string strResult2  = null;
         //输入参数是string或bitmap
         public Bitmap ImageProcess(string ImagePath){
            Image  ImageTemp  = Bitmap.FromFile(ImagePath);
             return ImageProcess(ImageTemp);
        }
         //输出结果是bitmap
         public Bitmap ImageProcess(Image image)
        {
            MemoryStream ms  =  new MemoryStream();
            image.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg);
            byte[] bytes  = ms.GetBuffer();
            strResult1  = client.Method(bytes);
            Image ImageResult  = Bitmap.FromFile(strResult1);
             return (Bitmap)ImageResult;
        }
         public Bitmap ImageProcess2(string ImagePath)
        {
            Image ImageTemp  = Bitmap.FromFile(ImagePath);
             return ImageProcess2(ImageTemp);
        }
         //输出结果是bitmap
         public Bitmap ImageProcess2(Image image)
        {
            MemoryStream ms  =  new MemoryStream();
            image.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg);
            byte[] bytes  = ms.GetBuffer();
            strResult2  = client.Method2(bytes);
            Image ImageResult  = Bitmap.FromFile(strResult2);
             return (Bitmap)ImageResult;
        }
         public  void Clear()
        {
             if (File.Exists(strResult1))
                File.Delete(strResult1);
             if (File.Exists(strResult2))
                File.Delete(strResult2);
        }
    }
3、使用例子(注意控件的dispose):
 
    private  void button2_Click(object sender, EventArgs e)
        {
             if (pictureBox1.Image  != null)
                pictureBox1.Image.Dispose();
             if (pictureBox2.Image  != null)
                pictureBox2.Image.Dispose();
           Image image1  = gocsharphelper.ImageProcess( " E:/sandbox/logo.jpg");
           pictureBox1.Image  = image1;
           Image image2  = gocsharphelper.ImageProcess2( "E:/sandbox/lena.jpg");
           pictureBox2.Image  = image2;
         
        }
 
三、解释说明 
使用外部I/O不仅仅是权宜之计,实际上Opencv的Decode使用的就是外部I/O。就目前研究的水平来说,这是最稳定的。
目前搭建成功的框架已经能够完成“csharp调用opencv的”目标,并且在调试、参数传递方面都很强。
如果是处理静态图片,已经够用。
四、杀手程序
GOImageResearch:
使用这种方法编写的图像处理预分析程序。



目前方向:图像拼接融合、图像识别 联系方式:jsxyhelu@foxmail.com
目录
相关文章
|
3月前
|
算法 计算机视觉
基于qt的opencv实时图像处理框架FastCvLearn实战
本文介绍了一个基于Qt的OpenCV实时图像处理框架FastCvLearn,通过手撕代码的方式详细讲解了如何实现实时人脸马赛克等功能,并提供了结果展示和基础知识回顾。
142 7
基于qt的opencv实时图像处理框架FastCvLearn实战
|
3月前
|
文字识别 计算机视觉 开发者
基于QT的OCR和opencv融合框架FastOCRLearn实战
本文介绍了在Qt环境下结合OpenCV库构建OCR识别系统的实战方法,通过FastOCRLearn项目,读者可以学习Tesseract OCR的编译配置和在Windows平台下的实践步骤,文章提供了技术资源链接,帮助开发者理解并实现OCR技术。
177 9
基于QT的OCR和opencv融合框架FastOCRLearn实战
|
3月前
|
C语言 Android开发 C++
基于MTuner软件进行qt的mingw编译程序的内存泄漏检测
本文介绍了使用MTuner软件进行Qt MinGW编译程序的内存泄漏检测的方法,提供了MTuner的下载链接和测试代码示例,并通过将Debug程序拖入MTuner来定位内存泄漏问题。
基于MTuner软件进行qt的mingw编译程序的内存泄漏检测
|
2月前
|
机器学习/深度学习 算法 计算机视觉
【Python篇】Python + OpenCV 全面实战:解锁图像处理与视觉智能的核心技能
【Python篇】Python + OpenCV 全面实战:解锁图像处理与视觉智能的核心技能
106 2
|
3月前
|
计算机视觉
基于QT的opencv插件框架qtCvFrameLearn实战
这篇文章详细介绍了如何基于Qt框架开发一个名为qtCvFrameLearn的OpenCV插件,包括项目配置、插件加载、Qt与OpenCV图像转换,以及通过各个插件学习OpenCV函数的使用,如仿射变换、卡通效果、腐蚀、旋转和锐化等。
60 10
|
3月前
|
机器学习/深度学习 Java 计算机视觉
opencv4.5.5+qt5.15.2+vtk9.1+mingw81_64编译记录
本文记录了使用mingw81_64编译OpenCV 4.5.5、Qt 5.15.2、VTK 9.1的详细过程,包括编译结果截图、编译步骤、遇到的问题及其解决方案,以及相关参考链接。文中还提到了如何编译boost源码为静态库,并提供了测试代码示例。
103 0
opencv4.5.5+qt5.15.2+vtk9.1+mingw81_64编译记录
|
5月前
|
数据安全/隐私保护 C++ 计算机视觉
Qt(C++)开发一款图片防盗用水印制作小工具
文本水印是一种常用的防盗用手段,可以将文本信息嵌入到图片、视频等文件中,用于识别和证明文件的版权归属。在数字化和网络化的时代,大量的原创作品容易被不法分子盗用或侵犯版权,因此加入文本水印成为了保护原创作品和维护知识产权的必要手段。 通常情况下,文本水印可以包含版权声明、制作者姓名、日期、网址等信息,以帮助识别文件的来源和版权归属。同时,为了增强防盗用效果,文本水印通常会采用字体、颜色、角度等多种组合方式,使得水印难以被删除或篡改,有效地降低了盗用意愿和风险。 开发人员可以使用图像处理技术和编程语言实现文本水印的功能,例如使用Qt的QPainter类进行文本绘制操作,将文本信息嵌入到图片中,
199 1
Qt(C++)开发一款图片防盗用水印制作小工具
|
4月前
|
监控 C++ 容器
【qt】MDI多文档界面开发
【qt】MDI多文档界面开发
112 0
|
3月前
|
开发工具 C++
qt开发技巧与三个问题点
本文介绍了三个Qt开发中的常见问题及其解决方法,并提供了一些实用的开发技巧。