Open3D Surface reconstruction 表面重建

简介: Open3D Surface reconstruction 表面重建

Surface reconstruction 表面重建

在许多情况下,我们希望生成密集的3D几何体,即三角形网格(triangle mesh)。然而,从多视点立体方法或深度传感器中,我们只能获得非结构化的点云。要从此非结构化输入中获取三角形网格,我们需要执行表面重建。在文献中存在几种方法,Open3D目前实现了以下方法:

Alpha shapes(阿尔法形状)

Ball pivoting(球旋转)

Poisson surface reconstruction(泊松表面重建)

Alpha shapes

阿尔法形状[Edelsbrunner1983]是凸壳的推广。正如这里[https://graphics.stanford.edu/courses/cs268-11-spring/handouts/AlphaShapes/as_fisher.pdf]所描述的,人们可以直观地将阿尔法形状想象成:想象一大堆冰淇淋,其中包含这些点作为硬巧克力块。使用其中一个球形冰淇淋勺子,我们雕刻出冰淇淋块的所有部分,我们可以在不碰到巧克力块的情况下到达,从而甚至在内部雕刻出孔洞(例如,只需从外面移动勺子就无法到达的部分)。我们最终将得到一个由大写字母、弧线和点边界的(不一定是凸的)物体。如果我们现在将所有圆面拉直为三角形和线段,则可以直观地描述所谓的 alpha 形状S。

Open3D 实现了涉及权衡参数alpha的方法create_from_point_cloud_alpha_shape。

bunny = o3d.data.BunnyMesh()
mesh = o3d.io.read_triangle_mesh(bunny.path)
mesh.compute_vertex_normals()

pcd = mesh.sample_points_poisson_disk(750)
o3d.visualization.draw_geometries([pcd])
alpha = 0.03
print(f"alpha={alpha:.3f}")
mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_alpha_shape(pcd, alpha)
mesh.compute_vertex_normals()
o3d.visualization.draw_geometries([mesh], mesh_show_back_face=True)

该实现基于点云的凸壳。如果我们想从给定的点云中计算多个 alpha 形状,那么我们可以通过只计算凸壳一次并将其传递给 create_from_point_cloud_alpha_shape来节省一些计算。

tetra_mesh, pt_map = o3d.geometry.TetraMesh.create_from_point_cloud(pcd)
for alpha in np.logspace(np.log10(0.5), np.log10(0.01), num=4):
    print(f"alpha={alpha:.3f}")
    mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_alpha_shape(
        pcd, alpha, tetra_mesh, pt_map)
    mesh.compute_vertex_normals()
    o3d.visualization.draw_geometries([mesh], mesh_show_back_face=True)

Ball pivoting

球枢轴算法(ball pivoting algorithm,BPA)[Bernardini1999]是一种与阿尔法形状相关的表面重建方法。直观地说,想想一个具有给定半径的3D球,我们将其落在点云上。如果它击中任何3个点(并且它没有落在这3个点上),它就会创建一个三角形。然后,算法开始从现有三角形的边缘旋转,每次它击中球没有落下的3个点时,我们都会创建另一个三角形。

Open3D 在create_from_point_cloud_ball_pivoting中实现了此方法。该方法接受与在点云上旋转的各个球的半径相对应的参数列表radii。

Note:此方法假设点云具有法线。

bunny = o3d.data.BunnyMesh()
gt_mesh = o3d.io.read_triangle_mesh(bunny.path)
gt_mesh.compute_vertex_normals()
pcd = gt_mesh.sample_points_poisson_disk(3000)
o3d.visualization.draw_geometries([pcd])


radii = [0.005, 0.01, 0.02, 0.04]
rec_mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_ball_pivoting(
    pcd, o3d.utility.DoubleVector(radii))
o3d.visualization.draw_geometries([pcd, rec_mesh])

Poisson surface reconstruction

泊松曲面重构方法 [Kazhdan2006] 求解了一个正则化优化问题,得到了一个光滑的曲面。因此,泊松曲面重建可能比上述方法更可取,因为它们会产生非平滑的结果、因为PointCloud点也是所得三角形网格的点vertices,无需任何修改。

Open3D实现了该方法create_from_point_cloud_poisson,该方法基本上是Kazhdan代码的包装器。该函数的一个重要参数depth是定义用于表面重建的八叉树的深度,因此意味着所得三角形网格的分辨率。depth值越高,表示网格具有更多细节。

Note:此方法假设点云具有法线。

import open3d as o3d
eagle_path = r'../data/EaglePointCloud.ply'
pcd = o3d.io.read_point_cloud(eagle_path)

print(pcd)
o3d.visualization.draw_geometries([pcd],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])


print('run Poisson surface reconstruction')
with o3d.utility.VerbosityContextManager(
        o3d.utility.VerbosityLevel.Debug) as cm:
    mesh, densities = o3d.geometry.TriangleMesh.create_from_point_cloud_poisson(
        pcd, depth=9)
print(mesh)
o3d.visualization.draw_geometries([mesh],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])

泊松表面重建也会在低点密度区域创建三角形,甚至推断到某些区域(见上面鹰输出的底部)。函数create_from_point_cloud_poisson具有第二个返回值densities,该值指示每个顶点的密度。低密度值意味着顶点仅由输入点云中的少量点支持。

在下面的代码中,我们使用伪彩色在3D中可视化密度。紫色表示低密度,黄色表示高密度。

print('visualize densities')
densities = np.asarray(densities)
density_colors = plt.get_cmap('plasma')(
    (densities - densities.min()) / (densities.max() - densities.min()))
density_colors = density_colors[:, :3]
density_mesh = o3d.geometry.TriangleMesh()
density_mesh.vertices = mesh.vertices
density_mesh.triangles = mesh.triangles
density_mesh.triangle_normals = mesh.triangle_normals
density_mesh.vertex_colors = o3d.utility.Vector3dVector(density_colors)
o3d.visualization.draw_geometries([density_mesh],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])

我们可以进一步使用密度值来删除具有低支撑的顶点和三角形。在下面的代码中,我们删除了密度值低于0.01所有密度值的分位数的所有顶点(和连接的三角形)。

print('remove low density vertices')
vertices_to_remove = densities < np.quantile(densities, 0.01)
mesh.remove_vertices_by_mask(vertices_to_remove)
print(mesh)
o3d.visualization.draw_geometries([mesh],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])

Normal estimation 法线估计

在上面的例子中,我们假设点云具有指向外部的法线。但是,并非所有点云都已附带相关的法线。Open3D 可用estimate_normals估计点云法线,其局部拟合每个 3D 点的平面以推导出法线。但是,估计的法线可能不是一致的。 orient_normals_consistent_tangent_plane使用最小生成树传播法线。

bunny = o3d.data.BunnyMesh()
gt_mesh = o3d.io.read_triangle_mesh(bunny.path)

pcd = gt_mesh.sample_points_poisson_disk(5000)
pcd.normals = o3d.utility.Vector3dVector(np.zeros(
    (1, 3)))  # invalidate existing normals

pcd.estimate_normals()
o3d.visualization.draw_geometries([pcd], point_show_normal=True)


pcd.orient_normals_consistent_tangent_plane(100)
o3d.visualization.draw_geometries([pcd], point_show_normal=True)
相关文章
|
机器学习/深度学习 存储 编解码
Open3d系列 | 3. Open3d实现点云上采样、点云聚类、点云分割以及点云重建
Open3d系列 | 3. Open3d实现点云上采样、点云聚类、点云分割以及点云重建
15177 1
Open3d系列 | 3. Open3d实现点云上采样、点云聚类、点云分割以及点云重建
|
存储 数据采集 数据可视化
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
18021 1
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
|
前端开发 rax Python
Open3d系列 | 2. Open3d实现点云数据增强
Open3d系列 | 2. Open3d实现点云数据增强
4135 1
Open3d系列 | 2. Open3d实现点云数据增强
|
算法 数据处理
点云地面点滤波(Progressive Morphological Filter)算法介绍(PCL库)
点云地面点滤波(Progressive Morphological Filter)算法介绍(PCL库)
2207 0
点云地面点滤波(Progressive Morphological Filter)算法介绍(PCL库)
|
5月前
|
机器学习/深度学习 数据可视化 算法
基于YOLOv8的无人机道路损伤检测[四类核心裂缝/坑洼识别]的识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
基于YOLOv8的无人机道路损伤检测系统,精准识别鳄鱼纹、纵向/横向裂缝及坑洼四类病害。集成PyQt5可视化界面,支持图片、视频、实时摄像头多模式检测,提供完整源码、数据集、预训练权重与部署教程,开箱即用,助力智慧交通巡检与养护决策。
基于YOLOv8的无人机道路损伤检测[四类核心裂缝/坑洼识别]的识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
|
6月前
|
存储 数据采集 算法
具身智能:零基础入门睿尔曼机械臂(六)——手眼标定代码库详解,从原理到实践
本文详解睿尔曼手眼标定代码库,涵盖眼在手上与眼在手外两种模式的实现原理及核心代码解析。内容包括数据采集、位姿处理、相机标定与手眼矩阵求解全流程,结合OpenCV的Tsai算法实现高精度坐标转换,助力机器人视觉精准抓取应用开发。
855 3
|
4月前
|
编解码 资源调度 算法
深度图与点云去噪实战:双边滤波+统计/半径滤波原理与Open3D全实现
本文系统讲解3D视觉中深度图与点云的工业级去噪方案:详解统计滤波(剔孤立点)、半径滤波(除稀疏噪点簇)及双边滤波(边缘保留平滑),提供Open3D+OpenCV全流程代码,支持深度图预处理→点云生成→联合去噪,兼顾精度、效率与鲁棒性。(239字)
888 6
|
传感器 机器学习/深度学习 编解码
一文尽览 | 基于点云、多模态的3D目标检测算法综述!(Point/Voxel/Point-Voxel)(下)
目前3D目标检测领域方案主要包括基于单目、双目、激光雷达点云、多模态数据融合等方式,本文主要介绍基于激光雷达雷达点云、多模态数据的相关算法,下面展开讨论下~
一文尽览 | 基于点云、多模态的3D目标检测算法综述!(Point/Voxel/Point-Voxel)(下)
|
存储 算法 索引
从点云重建表面 Surface Reconstruction from Point Clouds
从点云重建表面 Surface Reconstruction from Point Clouds
1329 3
|
JSON 算法 数据可视化
Open3d-Point cloud (点云)
Open3d-Point cloud (点云)
1972 6