Study-基于块匹配的全景图像拼接

案例背景

  图像拼接技术是一种将从真实世界采集的离散化图像序列合成一个宽视角的场景图像技术。假设有两幅具有重叠相关的图像,则图像拼接就是将这两幅图像拼接成-幅图像。因此，图像拼接的关键是能够快速高效地寻找到两幅不同图像的重叠部分，实现宽视角成像"。其中，重叠部分的寻找方法有很多，如像素查询、块匹配等。通过不同方法找到重叠部分后就可以进行图像叠加融合，从而完成图像的拼接过程。

理论基础

1.空间投影从真实世界中采集的- -组相关图像以一定 的方式投影到统一的空间面， 其中可能存在立方体、圆柱体和球面体表面等。因此，这组图像就具有统一的参 数空间坐标。

2.匹配定位对投影到统一的空间面中的相邻图像进行比对，确定可匹配的区域位置。

3.叠加融合根据匹配结果，将图像重叠区域进行融合处理，拼接成全景图。

  因此，图像拼接技术是全景图技术的关键和核心，通常可以分为两步:图像匹配和图像融合，本案例选择图像块匹配和加权融合。其拼接流程如图1所，图像块匹配过程如图2所示。

图1：图像拼接过程

图2：

4. 图像匹配

  图像匹配通过计算相似性度量来决定图像间的变换参数，应用于从不同传感器、不同视角、不同时间采集的同- -场景的两幅或多幅图像，将其变换到同- -坐标系下，并在像素层上实现最佳匹配的效果。根据相似性度量计算的对象，图像匹配的方法大致可以划分为4类:

基于灰度的匹配

基于模板的匹配

基于变换域的匹配

基于特征的匹配

5. 图像融合

  待拼接的图像在采集或传输过程中可能会受到光照、地形差异、电子干扰等不确定因素的影，所以重叠区域可能在不同的图像中有较大的差别。如果直接对待拼接图像进行简单的叠加合并，则得到的拼接图在拼接位置上可能会存在明显的拼接缝或重叠区域模糊失真的现象。其中，图像拼接过程中在拼接位置产生的拼接缝主要有以下两类。

5.1.鬼影 同一物体相互重叠的现象被称为鬼影，根据其来源可以分为配准鬼影和合成鬼影。配准鬼影一般由于无法准确配准图像而产生，合成鬼影一般由于物体运动而产生。

5.2.曝光瑕疵 曝光瑕疵指由于数码相机或智能手机等采集设备自动曝光所造成的待拼接图像的色彩强度不同，而导致的拼接图像的曝光差异。

  在实验过程中，如果不能综合考虑图像拼接时的拼接缝问题，则往往无法得到真正意义_上的全景图。图像融合技术产生的目的就是要消除拼接图像的拼接缝问题，即消除拼接图像中的“鬼影”和“曝光瑕疵”，获得真正意义上的无缝拼接图像。

程序实现

  本案例采用基于块匹配的图像拼接流程来执行拼接操作，载入图片文件夹来作为待拼接对象，通过进行图片序列的匹配、融合来得到拼接效果，并分别对灰度图像、彩色图像进行处理。

  设计界面分为工具栏、流程区域、显示区域，分别用于实现图像的载入及存储、算法流程控、中间结果显示等功能。其中，在图像拼接部分分为灰度图像拼接和彩色图像拼接，用于处理不同的输入图像类型，查看不同的拼接效果。