Study-基于块匹配的全景图像拼接

简介: Study-基于块匹配的全景图像拼接

案例背景


  图像拼接技术是一种将从真实世界采集的离散化图像序列合成一个宽视角的场景图像技术。假设有两幅具有重叠相关的图像,则图像拼接就是将这两幅图像拼接成-幅图像。因此,图像拼接的关键是能够快速高效地寻找到两幅不同图像的重叠部分,实现宽视角成像"。其中,重叠部分的寻找方法有很多,如像素查询、块匹配等。通过不同方法找到重叠部分后就可以进行图像叠加融合,从而完成图像的拼接过程。


理论基础


1.空间投影从真实世界中采集的- -组相关图像以一定 的方式投影到统一的空间面, 其中可能存在立方体、圆柱体和球面体表面等。因此,这组图像就具有统一的参 数空间坐标。


2.匹配定位对投影到统一的空间面中的相邻图像进行比对,确定可匹配的区域位置。


3.叠加融合根据匹配结果,将图像重叠区域进行融合处理,拼接成全景图。


  因此,图像拼接技术是全景图技术的关键和核心,通常可以分为两步:图像匹配和图像融合,本案例选择图像块匹配和加权融合。其拼接流程如图1所,图像块匹配过程如图2所示。


图1:图像拼接过程


image.png

图2:image.png

image.png

4. 图像匹配


  图像匹配通过计算相似性度量来决定图像间的变换参数,应用于从不同传感器、不同视角、不同时间采集的同- -场景的两幅或多幅图像,将其变换到同- -坐标系下,并在像素层上实现最佳匹配的效果。根据相似性度量计算的对象,图像匹配的方法大致可以划分为4类:


基于灰度的匹配


基于模板的匹配


基于变换域的匹配


基于特征的匹配


5. 图像融合


  待拼接的图像在采集或传输过程中可能会受到光照、地形差异、电子干扰等不确定因素的影,所以重叠区域可能在不同的图像中有较大的差别。如果直接对待拼接图像进行简单的叠加合并,则得到的拼接图在拼接位置上可能会存在明显的拼接缝或重叠区域模糊失真的现象。其中,图像拼接过程中在拼接位置产生的拼接缝主要有以下两类。


5.1.鬼影 同一物体相互重叠的现象被称为鬼影,根据其来源可以分为配准鬼影和合成鬼影。配准鬼影一般由于无法准确配准图像而产生,合成鬼影一般由于物体运动而产生。


5.2.曝光瑕疵 曝光瑕疵指由于数码相机或智能手机等采集设备自动曝光所造成的待拼接图像的色彩强度不同,而导致的拼接图像的曝光差异。


  在实验过程中,如果不能综合考虑图像拼接时的拼接缝问题,则往往无法得到真正意义_上的全景图。图像融合技术产生的目的就是要消除拼接图像的拼接缝问题,即消除拼接图像中的“鬼影”和“曝光瑕疵”,获得真正意义上的无缝拼接图像。



程序实现


  本案例采用基于块匹配的图像拼接流程来执行拼接操作,载入图片文件夹来作为待拼接对象,通过进行图片序列的匹配、融合来得到拼接效果,并分别对灰度图像、彩色图像进行处理。


  设计界面分为工具栏、流程区域、显示区域,分别用于实现图像的载入及存储、算法流程控、中间结果显示等功能。其中,在图像拼接部分分为灰度图像拼接和彩色图像拼接,用于处理不同的输入图像类型,查看不同的拼接效果。


image.png

image.png

image.png


相关文章
|
2月前
|
Serverless 计算机视觉
语义分割笔记(三):通过opencv对mask图片来画分割对象的外接椭圆
这篇文章介绍了如何使用OpenCV库通过mask图像绘制分割对象的外接椭圆。首先,需要加载mask图像,然后使用`cv2.findContours()`寻找轮廓,接着用`cv2.fitEllipse()`拟合外接椭圆,最后用`cv2.ellipse()`绘制椭圆。文章提供了详细的代码示例,展示了从读取图像到显示结果的完整过程。
58 0
语义分割笔记(三):通过opencv对mask图片来画分割对象的外接椭圆
|
5月前
|
文字识别
文本,文字识别,PaddleOCR,如何删除,PaddleOCR详解,检测,方向分类器,识别,检测的意思是检查字符的位置,查像素坐标,方向分类器,能够实现180度的图像,字符识别是把识别字符
文本,文字识别,PaddleOCR,如何删除,PaddleOCR详解,检测,方向分类器,识别,检测的意思是检查字符的位置,查像素坐标,方向分类器,能够实现180度的图像,字符识别是把识别字符
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【CV大模型SAM(Segment-Anything)】真是太强大了,分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标
【CV大模型SAM(Segment-Anything)】真是太强大了,分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标
|
7月前
|
Python
图片拼接 --全景图合成
图片拼接 --全景图合成
|
7月前
|
存储 传感器 编解码
CVPR 2023 最全分割类论文整理:图像/全景/语义/实例分割等【附PDF+代码】
CVPR 2023 最全分割类论文整理:图像/全景/语义/实例分割等【附PDF+代码】
1030 1
|
7月前
|
机器学习/深度学习 机器人 计算机视觉
CVPR 2023:把人放在他们的位置,把人自然地插到图像里
CVPR 2023:把人放在他们的位置,把人自然地插到图像里
54 1
|
7月前
|
机器学习/深度学习 编解码 自动驾驶
目标检测 | Soft Anchor匹配与事件相机检测相互成就,无label也不在话下
目标检测 | Soft Anchor匹配与事件相机检测相互成就,无label也不在话下
211 0
|
7月前
|
C++
[Halcon&定位] 解决Roi区域外的模板匹配成功
[Halcon&定位] 解决Roi区域外的模板匹配成功
213 0
|
7月前
|
算法
[Halcon&定位] 形状匹配和灰度匹配对比
[Halcon&定位] 形状匹配和灰度匹配对比
229 0
|
存储 编解码 对象存储
将图像标记器多边形转换为标记的块图像以进行语义分割
将存储在对象中的多边形标签转换为适用于语义分割工作流的标记阻止图像。 可以使用计算机视觉工具箱中的图像标记器应用来标记太大而无法放入内存和多分辨率图像的图像。有关详细信息,请参阅在图像标记器(计算机视觉工具箱)中标记大图像。图像标记器应用不支持对被阻止的图像进行像素标记。您只能使用 ROI 形状(如多边形、矩形和线条)创建标签。此示例演示如何使用函数将多边形 ROI 转换为像素标记的块图像,以进行语义分割工作流。
71 0
将图像标记器多边形转换为标记的块图像以进行语义分割