[视觉概述] 机器视觉应用方向、项目流程及学习思路总结

一. 机器视觉应用方向

   机器视觉则是建立在计算机视觉理论的基础上，偏重于计算机视觉技术工程化。与计算机视觉研究的视觉模式识别、视觉理解等内容不同，机器视觉重点在于感知环境中物体的形状、位置、姿态、运动等几何信息。机器视觉主要分2D和3D两个方向：

2D：

1. 识别定位：①Blob分析（主要包括二值化、形态学处理、特征选择。ps:受光照影响较大）②模板匹配（常用的是Shape匹配和Ncc匹配，有时还会用到可变形模板）；
   
2. 符号需求（一维码、二维码、三维码、OCR光学字符识别）
   
3. 测量类（单目相机的标定、相机自标定）；
   
4. 缺陷检测系列；
   
5. 视觉+运动控制板卡+机器人：手眼抓取（涉及手眼标定抓取等方面）
   

3D：

1. 双目及多目相机标定；
2. 鞋点胶;
3. 无序抓取：参考Halcon【实例程序】中【方法】【多目立体视觉】locate_pipe_joints-stereo.hdev案例中;
   核心知识点：3D手眼标定——标定3D传感器和机械手之间的关系;
4. 点云数据+深度学习;

工具：Halcon（德国）、VisionPro（美国康耐视）、LabView、OpenCV+C++（Emgucv+C#）、Sherlock、Evsion、Insight、Matlab;

推荐：Halcon===>>>> OpenCV ====>>>> 源码自己编写

语言主流：C#+halcon（适合初学、开发效率快，但执行速度相对慢一些，因为C#需要翻译成机器语言）、C+++QT+halcon（适合有一定基础、开发效率慢（对开发者要求高一点），但执行速度更快，因为C++直接生成.exe文件，是操作系统可以直接执行的机器语言）、C+++MFC+halcon

二. 项目总体流程

做机器视觉的项目，拿到项目时一般遵循如下流程：

（1）需求分析（2D）

（2）方案设计（硬件）：

• 2D：根据客户应用的场合不同，选择相应的镜头、相机、支架、光源及如何打光（感兴趣的可看看《工程光学》一书）等。
• 3D：自己搭建双目结构光、激光三角等3D平台，或直接买市面公司成熟的3D方案（首先，因为速度更快、精度更高一些），相关3D硬件平台参考：主流3D光学视觉方案

（3）概要设计（软件）：

• 包含软件架构体系，视觉开发环境（VC+++Halcon还是C#+Halcon等）;
• 算法流程（怎么通讯、怎么识别等）。

（4）详细设计（软件）：

• 各个功能模块如何做，包括图像采集模块、处理模块、包括算法模块，如何通讯等；
• 通常将每个模块形成一个动态库，调用相应的接口函数即可，项目图像采集调用SDK也是调用动态库的过程；

（5）软件编码 —— （6）测试、调试和修改 —— （7）客户交付、确认 —— （8）调试：根据客户反馈结果来不断的修改程序Bug。

（9） 达到客户需求，最后交付客户及软硬件操作文档 —— （10）后期维护。

三. 视觉常规算法流程

1. 图像采集
2. 图像预处理：包含几何变换、灰度处理、图像增强、图像滤波、二值化、图像细化等
   注：图像预处理在视觉算法中一般是可选项，图像效果很好的时候可跳过该步
3. 定位（blob分析、模板匹配）
4. 特征提取： 包含几何特征（面积、周长、矩形度）、纹理特征（与灰度相关，如熵、能量值）、概率特征、角点、特征描述算子特征等，直接影响定位、识别的效果
5. 对特征区域进行处理（根据不同工业需求选择对应的检测识别算法）
6. 结果显示

四. 机器视觉工程师需要具备的能力

4.1 图像处理相关知识

1. 图像处理的基本理论知识（图像理论的基础知识）
2. 图像增强（对比度拉伸、灰度变换等）
3. 图像的几何变换（仿射变换，旋转矩阵等）
4. 图像的频域处理（傅里叶变换、DFT、小波变换、高低通滤波器设计）
5. 形态学（膨胀、腐蚀、开运算和闭运算以及凸壳等）
6. 图像分割（HALCON里的Blob分析）
7. 图像复原
8. 运动图像
9. 图像配准（模板匹配等）
10. 模式识别（分类器训练，神经网络深度学习等）

学习参考资料：

• 经典教材：冈萨雷斯的《数字图像处理》及对应的MATLAB版
  
• 杨丹等编著《MATLAB图像处理实例详解》
  
• 张铮等编著《数字图像处理与机器视觉——Visual C++与MATLAB实现》
  
• 左飞编著的《数字图像处理：原理与实践（MATLAB版）》
  
• 左飞编著的《数字图像处理技术详解与Visual C++实践》
  
• 谢凤英编著的《Visual C++数字图像处理》
  
• 《精通系列·精通Visual C++数字图像处理典型算法及实现(第2版)》
  

4.2 软件编程功底

软件功底的作用是软件的架构设计分析，架构包括UI层设计、业务逻辑层开发、数据层开发。以下三个方面，每个方面至少会一种，具体选择视所在公司应用而定：

• 编程语言：C#，C，C++（自己用哪个就学哪个）
• 界面框架：C#界面，Qt界面，MFC界面（比较老了，以前的项目用的较多）
• 图像算法处理软件：HALCON，VisionPro，OpenCV等

学习资料参考：

1. C# 可以看书籍《C#从入门到精通》、《Head First C#》、《C#入门经典》、《C#图解教程》、《C#高级编程》、《.Net Frameword 高级编程》、《CLR via C#》
   
2. C 语言的学习主要看谭浩强写的C语言相关知识
   
3. C++主要看《C++ primer plus》书籍
   
4. Qt 学习可以看《Qt Creator快速入门》(入门)、《C++ GUI Qt4》(进阶)
   
5. MFC 的学习主要看孙鑫编写的《VC++深入详解》这本书及相应的视频教程，并在VC++6.0软件或VS2010等软件上编写程序和实践
   

4.3 视觉硬件知识

主要在你设计方案时相机、镜头、光源等选型时起到关键作用。

学习资料参考：

主要阅读书籍《工程光学》、重点放在几何光学方面，了解成像原理及相应的光路分析，知道光源的特性、镜头分辨率、相机分辨率等方面的知识。

五. 学习机器视觉的一些建议

1.学习机器视觉一定要结合项目实战，在实践中学习总结经验教训，系统化学习所需知识。

2.补充一定的C++和c#知识，进行VS联合开发，客户现场的学习和现场调试，不断学习示例分析，掌握方法套路流程。

3.根据实际问题，学习模块调用，按照方法套路学习。

4.最好是先用Halcon等视觉处理软件实现图像处理部分，然后在VS开发软件中利用MFC或Qt等图形界面实现出来，实践学习是最好的方法。

机器视觉学习的发展趋势是结合神经网络、深度学习进行相应的人工智能机器视觉开发。