智能系统与技术丛书
点击查看第二章
点击查看第三章
OpenCV 4计算机视觉项目实战
（原书第2版）
Learn OpenCV 4 By Building Projects, Second Edition
[西班牙]大卫·米兰·埃斯克里瓦（David Millán Escrivá）
[西班牙]维尼休斯·G.门东萨（Vinícius G. Mendon
第1章 OpenCV入门
计算机视觉应用程序很有趣，而且很有用，但是其底层算法是计算密集型的。随着云计算的出现，我们正在获得更强大的处理能力。
OpenCV库使我们能够实时高效地运行计算机视觉算法。它已经存在很多年了，并已成为该领域的标准库。OpenCV的主要优势之一是它经过高度优化，几乎可以在所有平台上使用。
本书将介绍我们要用到的各种算法和使用它们的原因，以及如何在OpenCV中实现它们。
在本章中，我们将学习如何在各种操作系统上安装OpenCV。我们将讨论OpenCV提供的开箱即用的服务，以及使用内置函数可以做的各种事情。
本章介绍以下主题：
- 人类如何处理视觉数据，如何理解图像内容？
- 我们能用OpenCV做什么，OpenCV中可以用于实现这些目标的各种模块是什么？
- 我们如何在Windows、Linux和Mac OS X上安装OpenCV？
1.1 了解人类视觉系统
在进入OpenCV的功能之前，首先需要了解为什么要构建这些功能。了解人类视觉系统的工作原理是非常重要的，这样你就可以开发出正确的算法。
计算机视觉算法的目标是理解图像和视频的内容，对此，人类似乎毫不费力！那么，我们如何才能让机器以相同的精度做到这一点呢？
请看图1-1。
人眼可以捕获视野内的所有信息，例如颜色、形状、亮度等。如图1-1所示，人眼捕获到关于两个主要对象的所有信息，并以某种方式将其存储起来。如果能知道人眼系统是如何工作的，我们就可以利用它来实现我们的目的。
例如，以下是我们需要知道的一些事情：
- 我们的视觉系统对低频内容比高频内容更敏感。低频内容是指像素值不会快速变化的平面区域，高频内容是指具有角和边缘的区域，其像素值波动很大。我们可以很容易地看到平面上是否有斑点，但很难在高度纹理化的表面发现类似的东西。
- 人眼对亮度的变化比对颜色的变化更敏感。
- 我们的视觉系统对运动很敏感。即使没有直接看到，我们也能很快识别出视野中是否有某些东西正在移动。
- 我们倾向于在脑海中记下视野中的特征点。假设你看到一张白色的桌子，它有四条黑色的桌腿，桌面的一角有一个红点。当你看着这张桌子时，你会立刻记下表面和桌腿有相反的颜色，并且其中一个角上有一个红点。我们的大脑非常聪明！我们自动执行此操作，这样，当再次遇到该对象时，就能够立即识别出它。
为了认识人类的视觉，让我们来看一张俯视图，以及我们看各种事物的角度，如图1-2所示。
我们的视觉系统实际上还可以提供更多功能，但这应该足够了。你可以通过在网上阅读人类视觉系统（HVS）模型来做进一步探索。
1.2 人类如何理解图像内容
如果环顾四周，你会看到很多对象。你每天都会遇到很多不同的对象，你几乎可以毫不费力地认出它们。当看到一把椅子，你不会等几分钟才意识到它实际上是一把椅子。你立即就会知道它是一把椅子。
另一方面，计算机执行这项任务却非常困难。研究人员多年来一直在研究为什么计算机在这方面没有我们做得好。
为了得到这个问题的答案，我们需要了解人类是如何做到的。视觉数据的处理发生在腹侧视觉流中。这个腹侧视觉流是指我们的视觉系统中与对象识别相关的路径。它基本上是我们大脑中的一个区域层次结构，可以帮助我们识别对象。
人类可以毫不费力地识别不同的对象，并且可以将类似的对象聚集在一起。我们之所以能够这样做，是因为我们已经对同一类对象产生了某种不变性。观察对象时，我们的大脑会以某种方式提取特征点，这种方式与方向、大小、视角和照明等因素无关。
一把比正常尺寸大一倍并且旋转45度的椅子仍然是一把椅子。正是由于这种处理方式，我们才能够轻松识别它。机器并不能这么容易地做到这一点。人类倾向于根据其形状和重要特征记住一个对象。无论对象如何放置，我们仍然能够识别它。
在我们的视觉系统中，建立起了关于位置、比例和视角等层次的不变性，这有助于我们变得非常强大。如果你深入了解我们的系统，就会发现人类的视觉皮层中有些细胞可以响应曲线和线条等形状。
如果沿着腹侧流进一步移动，我们将会看到更复杂的细胞，这些细胞经过训练，可以响应更复杂的对象，如树木、大门等。腹侧流中的神经元往往表现出接受区大小的增加，而神经元偏爱的刺激的复杂性也会同时增加。
为什么机器难以理解图像内容
我们已经知道视觉数据是如何进入人类视觉系统，以及我们的系统是如何处理这些数据的。问题是我们仍然不能完全理解大脑如何识别和组织这些视觉数据。在机器学习中，我们只是从图像中提取一些特征，并要求计算机使用算法来学习它们。这些变化仍然存在，例如形状、大小、视角、角度、照明、遮挡等。
例如，对于机器来说，当从侧面观察时，同一把椅子看起来就非常不同。人类很容易识别出它是一把椅子，无论它是如何呈现给我们的。那么，我们如何向机器解释这一点？
一种方法是存储对象的所有不同的变化，包括大小、角度、视角等。但是这个过程既麻烦又耗时。而且，实际上不可能收集到包含每一个变化的数据。机器将会消耗掉大量内存，并且需要大量时间来构建可以识别这些对象的模型。
即便如此，如果某个对象有一部分被遮挡，计算机仍然无法识别它。因为它们会认为这是一个新对象。因此，当我们构建计算机视觉库时，就需要构建底层功能块，这些功能块可以按多种不同方式组合以形成复杂的算法。
OpenCV提供了很多这样的功能，并且它们经过了高度优化。因此，一旦了解了OpenCV的功能，就可以有效地使用它来构建有趣的应用程序。
让我们在下一节继续探讨这个问题。
1.3 你能用OpenCV做什么
使用OpenCV，你几乎可以完成你能想到的每种计算机视觉任务。现实生活中的问题要求同时使用许多计算机视觉算法和模块来获得所需的结果。因此，你只需了解要用哪些OpenCV模块和函数来获得你想要的东西。
让我们来看看OpenCV中可以开箱即用的功能。
1.3.1 内置数据结构和输入/输出
OpenCV的最大优点之一是它提供了许多内置基元来处理与图像处理和计算机视觉相关的操作。如果你必须从零开始编程，就必须定义Image、Point、Rectangle等。这些几乎是任何计算机视觉算法的基础。
OpenCV自带所有这些基本结构，它们包含在核心模块中。另一个优点是这些结构已经针对速度和内存进行了优化，因此你不必担心其实现细节。
imgcodecs模块可以处理图像文件的读取和写入。当你对输入图像进行操作并创建输出图像时，可以使用简单的命令将其另存为.jpg或.png文件。
使用摄像机时，你将会处理大量的视频文件。videoio模块可以处理与视频文件的输入和输出相关的所有操作。你可以轻松地从网络摄像头捕获视频，或以多种不同格式读取视频文件。你甚至可以通过设置诸如每秒帧数、帧大小等属性来将很多帧保存为视频文件。
1.3.2 图像处理操作
在编写计算机视觉算法时，会有很多基本的图像处理操作，你将反复使用它们。大多数这些函数都在imgproc模块中。你可以执行诸如图像过滤、形态学操作、几何变换、颜色转换、图像绘制、直方图、形状分析、运动分析、特征检测等操作。
让我们来看看图1-3。
右图是左侧图像的旋转版本，我们在OpenCV中用一行代码就可以实现这种转换。
还有另一个名为ximgproc的模块，它包含高级图像处理算法，可以用于诸如结构化森林的边缘检测、域变换滤波器、自适应流形滤波器等处理。
1.3.3 GUI
OpenCV提供了一个名为highgui的模块，可用于处理所有高级用户界面操作。假设你正在解决一个问题，并且想要在继续下一步之前检查图像的外观，则可利用该模块具有的创建窗口以显示图像和视频的功能。
它有一个等待功能，可以等你按下键盘上的一个键才进入下一步。还有一个可以检测鼠标事件的功能，在开发交互式应用程序时非常有用。
使用这些功能，你可以在那些输入窗口上绘制矩形，然后根据所选区域进行处理，以图1-4为例。
如你所见，我们在窗口上画了一个绿色矩形。一旦得到这个矩形的坐标，就可以单独操作该区域。
1.3.4 视频分析
视频分析包括诸如分析视频中连续帧之间的运动、跟踪视频中的不同目标、创建视频监控模型等任务。OpenCV提供了一个名为video的模块，可以处理所有这些任务。
还有一个名为videostab的模块，用来处理视频稳定的问题。视频稳定非常重要，因为当你通过手持摄像机拍摄视频时，通常会有很多抖动需要纠正。所有的现代设备都会使用视频稳定功能，以便在将视频呈现给最终用户之前对其进行处理。
1.3.5 3D重建
3D重建是计算机视觉中的一个重要课题。给定一组2D图像，我们可以使用相关算法重建3D场景。在calib3d模块中，OpenCV提供的算法可以找到这些2D图像中各种对象之间的关系，并计算其3D位置。
该模块还可以处理摄像机校准，这对于估计摄像机的参数至关重要。这些参数定义了摄像机如何看到它前面的场景。我们需要知道这些参数来设计算法，否则我们可能会得到意想不到的结果。
请看图1-5。
正如我们在这里看到的，相同的对象从多个位置被捕获。我们的工作是使用这些2D图像重建原始对象。
1.3.6 特征提取
正如我们前面所讨论的，人类视觉系统倾向于从给定场景中提取主要特征，然后记住它，这样便于后续的检索。为了模仿这一点，人们开始设计各种特征提取器，用于从给定的图像中提取出这些特征点。流行的算法包括尺度不变特征变换（Scale Invariant Feature Transform，简称SIFT）、加速鲁棒特征（Speeded Up Robust Features，简称SURF）和加速分段测试特征（Features From Accelerated Segment Test，简称FAST）。
名为features2d的OpenCV模块提供了检测和提取所有这些特征的功能。另一个名为xfeatures2d的模块提供了更多的特征提取器，其中一些仍处于实验阶段。如果有机会，你可以尝试使用它们。
还有一个名为bioinspired的模块，可以为受到生物学启发的计算机视觉模型提供算法。
1.3.7 对象检测
对象检测是指检测给定图像中对象的位置。此过程与对象类型无关。如果你设计一个椅子检测器，它不会告诉你给定图像中的椅子是高靠背红色的，还是蓝色低靠背的，它只会告诉你椅子的位置。
检测对象的位置是许多计算机视觉系统中的关键步骤。
以图1-6为例。
如果你在这幅图像上运行一个椅子检测器，它会在所有椅子的周围放置一个绿色框，但它不会告诉你椅子是什么样的。
由于在各种尺度下执行检测所需的计算次数不同，对象检测曾经是计算密集型任务。为了解决这个问题，Paul Viola和Michael Jones在2001年的开创性论文中提出了一个很好的算法（https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/viola-cvpr-01.pdf ），其中提出了一种为任何对象快速设计对象检测器的方法。
OpenCV自带名为objdetect和xobjdetect的模块，它们提供了设计对象检测器的框架，你可以使用它们来开发任何对象的探测器，比如太阳镜、靴子等。
1.3.8 机器学习
机器学习算法被广泛用于构建实现目标识别、图像分类、面部检测、视觉搜索等功能的计算机视觉系统。
OpenCV提供了一个名为ml的模块，该模块捆绑了许多机器学习算法，包括贝叶斯分类器（Bayes classifier）、k近邻（k-nearest neighbor，简称KNN），支持向量机（support vector machine，简称SVM）、决策树（decision tree）、神经网络（neural network）等。
它还有一个名为快速近似最近邻搜索库（Fast Approximate Nearest Neighbor Search Library，简称FLANN）的模块，其中包含用于在大型数据集中进行快速最近邻搜索的算法。
1.3.9 计算摄影
计算摄影是指使用先进的图像处理技术来改善相机捕获的图像。计算摄影并不专注于光学过程和图像捕捉方法，而是使用软件来操纵视觉数据。其应用领域包括高动态范围成像，全景图像、图像补光和光场相机等。
以图1-7为例。
看看这些生动的色彩！这是高动态范围图像的例子，使用传统的图像捕获技术无法实现这种效果。必须在多次曝光中捕获相同的场景，相互寄存这些图像，然后将它们很好地混合，之后才能创建出这个图像。
photo和xphoto模块包含各种算法，提供与计算摄影有关的算法。还有一个称为stitching的模块，它提供创建全景图像的算法。
1.3.10 形状分析
形状的概念在计算机视觉中至关重要。我们通过识别图像中各种不同的形状来分析视觉数据。实际上，这是许多算法中的重要步骤。
假设你正在尝试识别图像中的特定徽标。你知道它可以按各种形状、方向和大小呈现。作为起步的一个好方法是量化对象的形状特征。
shape模块为提取不同形状、测量它们之间的相似性、转换对象形状等操作提供了所有算法。
1.3.11 光流算法
光流算法用于在视频中跟踪连续帧中的特征。假设你要跟踪视频中的特定对象。在每一帧上运行一个特征提取器是非常耗费计算资源的，这个过程会很慢。因此，你只需从当前帧中提取出要素，然后在连续帧中跟踪这些要素。
光流算法在基于视频的计算机视觉应用中被大量使用。optflow模块包含了执行光流操作所需的所有算法。还有一个称为tracking的模块，其中包含可用于跟踪特征的更多算法。
1.3.12 人脸和对象识别
人脸识别是指识别给定图像中的人物。这与人脸检测不同，在人脸检测中，只需要识别给定图像中人脸的位置。
如果你想建立一个可以识别相机前面的人的实用的生物识别系统，首先需要运行一个人脸检测器来识别人脸的位置，然后运行一个单独的人脸识别器来识别该人是谁。有一个名为face的OpenCV模块用于处理人脸识别。
正如我们之前讨论的那样，计算机视觉试图按照人类感知视觉数据的方式对算法进行建模。因此，在图像中找到显著的区域和对象将是有帮助的，这可以帮助我们处理不同的应用，例如目标识别、目标检测和跟踪等。一个名为saliency的模块是专门为此目的而设计的。它提供的算法可以检测静态图像和视频中的显著区域。
1.3.13 表面匹配
有越来越多的设备能够捕获我们周围对象的3D结构，这些设备能够捕获深度信息以及常规的2D彩色图像。因此，构建可以理解和处理3D对象的算法对我们来说非常重要。
Kinect是捕获深度信息和视觉数据的一个很好的设备例子，它现在能够识别输入的3D对象，并将其与数据库中的模型匹配。如果我们有一个可以识别和定位对象的系统，那么它就可以用于许多不同的应用程序。
一个名为surface_matching的模块包含用于3D对象识别的算法，以及使用3D特征的姿势估计算法。
1.3.14 文本检测和识别
识别给定场景中的文本并识别其内容变得越来越重要，其应用包括车牌识别、识别用于自动驾驶汽车的道路标志、将内容数字化的书籍扫描等。
一个名为text的模块包含处理文本检测和识别的各种算法。
1.3.15 深度学习
深度学习对计算机视觉和图像识别有很大影响，并且比其他机器学习和人工智能算法具有更高的准确度。深度学习不是一个新概念；它在1986年左右被提出，但在2012年左右有了革命性进步，当时新的GPU硬件针对并行计算和卷积神经网络（Convolutional Neural Network，简称CNN）实现进行了优化，加上其他技术，使得在合理的时间内训练复杂的神经网络架构成为可能。
深度学习可以应用于多种用例，例如图像识别、目标检测、语音识别和自然语言处理。从版本3.4开始，OpenCV一直在实现深度学习算法，在最新版本中，添加了诸如TensorFlow和Caffe等多个重要框架的导入器。
1.4 安装OpenCV
让我们看看如何在各种操作系统上安装和运行OpenCV。
1.4.1 Windows
为简单起见，我们使用预先构建的库安装OpenCV。请访问opencv.org并下载适用于Windows的最新版本。当前版本是4.0.0，你可以从OpenCV主页获取下载链接。在继续之前，要确保你拥有管理员权限。
下载的文件是一个可执行文件，因此只需双击它即可开始安装。安装程序会将相关文件安装到一个文件夹中。你可以选择安装路径，并通过检查文件来检查安装。
完成上一步后，需要设置OpenCV环境变量，并把它们添加到系统路径来完成安装。我们将设置一个环境变量来保存OpenCV库的构建目录，并在项目中使用它。
打开终端并键入以下内容：
让我们继续，先将bin文件夹的路径添加到系统路径中。这样做的原因是我们将会以动态链接库（DLL）的形式使用OpenCV库。基本上，所有的OpenCV算法都存储在这里，操作系统只会在运行时加载它们。
为此，操作系统需要知道它们的位置。PATH系统变量包含可以找到DLL的所有文件夹的列表。因此，我们自然需要将OpenCV库的路径添加到此列表中。
为什么需要做这一切？另一个选择是将所需的DLL复制到应用程序的可执行文件（.exe文件）所在的相同文件夹中。这是一个不必要的开销，特别是当我们要处理许多不同的项目时。
我们需要编辑PATH变量来添加此文件夹。你可以使用路径编辑器等软件执行此操作，可以从此处下载：https://patheditor2.codeplex.com 。安装完成后，启动软件并添加以下新条目（你可以右键单击路径来插入新项目）：
继续并将其保存到注册表，至此，安装完成！
1.4.2 Mac OS X
在本节中，我们将了解如何在Mac OS X上安装OpenCV。预编译的二进制文件不适用于Mac OS X，因此我们需要从头开始编译OpenCV。
在继续之前，我们需要安装CMake。如果你尚未安装CMake，可以从此处下载：https://cmake.org/files/v3.12/cmake-3.12.0-rc1-Darwin-x86_64.dmg 。这是一个.dmg格式的文件，下载完成后，只需运行安装程序即可。
从opencv.org下载最新版本的OpenCV。当前版本是4.0.0，你可以从这里下载：https://github.com/opencv/opencv/archive/4.0.0.zip 。请将它解压缩到你选择的文件夹中。
OpenCV 4.0.0还有一个名为opencv_contrib的新软件包，其中包含尚不稳定的用户贡献功能，以及一些在所有最新的计算机视觉算法中无法免费用于商业用途的算法，请记住这一点。安装此软件包是可选的，如果不安装opencv_contrib，OpenCV也能正常工作。
因为我们必须安装OpenCV，所以最好安装这个软件包，以便以后可以试用它（而不是再次完成整个安装过程），这是学习和使用新算法的好方法。你可以从以下链接下载它：
请将zip文件解压缩到你选择的文件夹中。为方便起见，请将它解压缩到与之前相同的文件夹中，以便opencv-4.0.0和opencv_contrib-4.0.0文件夹位于同一个主文件夹中。
现在准备构建OpenCV。请打开终端并导航到存放OpenCV 4.0.0解压缩文件的文件夹。在替换命令中的正确路径后运行以下命令：
下面开始安装OpenCV 4.0.0。请转至/full/path/to/opencv-4.0.0/build目录，并在终端上运行以下命令：
在上面的命令中，-j4标志表示它应该使用四个内核来安装它。这种方式更快！现在，开始设置库路径。请使用vi~/.profile命令在终端中打开~/.profile文件，并添加以下行：
我们需要将opencv.pc中的pkgconfig文件复制到/usr/local/lib/pkgconfig，并将其命名为opencv4.pc。这样，如果你已经安装了OpenCV 3.x.x，则不会发生冲突。让我们继续：
我们还需要更新PKG_CONFIG_PATH变量。请打开~/.profile文件并添加以下命令行：
使用以下命令重新加载~/.profile文件：
大功告成！我们来看看它能否正常工作：
如果在终端上看到欢迎使用OpenCV 4.0.0的字样，那么安装成功。我们还将在本书中使用CMake构建OpenCV项目，我们会在第2章中更详细地介绍它。
1.4.3 Linux
我们来看看如何在Ubuntu上安装OpenCV，需要在开始之前安装一些依赖项，请用包管理器在终端中运行以下命令来安装它们：
安装了依赖项之后，请下载、构建并安装OpenCV：
把opencv.pc中的pkgconfig文件复制到/usr/local/lib/pkgconfig，并将其命名为opencv4.pc：
完成了！现在可以用它从命令行编译我们的OpenCV程序了。此外，如果你已经安装了现有的OpenCV 3.x.x，也不会发生冲突。
我们来检查安装是否正常：
如果在终端上看到欢迎使用OpenCV 4.0.0的字样，那么安装成功。在接下来的章节中，我们将学习如何使用CMake构建OpenCV项目。
1.5 总结
在本章中，我们讨论了人类视觉系统，以及人类如何处理视觉数据。解释了为什么机器难以做到这一点，以及在设计计算机视觉库时需要考虑的因素。
我们学习了使用OpenCV可以完成的工作，以及可用于完成这些任务的各种模块。最后，学习了如何在各种操作系统中安装OpenCV。
在下一章中，我们将讨论如何处理图像以及如何使用各种函数操作图像。我们还将学习如何为OpenCV应用程序构建项目结构。
