Open3D Surface reconstruction 表面重建-阿里云开发者社区

Open3D Surface reconstruction 表面重建

2024-06-14 16

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Open3D Surface reconstruction 表面重建

Surface reconstruction 表面重建

在许多情况下，我们希望生成密集的3D几何体，即三角形网格(triangle mesh)。然而，从多视点立体方法或深度传感器中，我们只能获得非结构化的点云。要从此非结构化输入中获取三角形网格，我们需要执行表面重建。在文献中存在几种方法，Open3D目前实现了以下方法：

Alpha shapes(阿尔法形状)

Ball pivoting(球旋转)

Poisson surface reconstruction(泊松表面重建)

Alpha shapes

阿尔法形状[Edelsbrunner1983]是凸壳的推广。正如这里[https://graphics.stanford.edu/courses/cs268-11-spring/handouts/AlphaShapes/as_fisher.pdf]所描述的，人们可以直观地将阿尔法形状想象成：想象一大堆冰淇淋，其中包含这些点作为硬巧克力块。使用其中一个球形冰淇淋勺子，我们雕刻出冰淇淋块的所有部分，我们可以在不碰到巧克力块的情况下到达，从而甚至在内部雕刻出孔洞（例如，只需从外面移动勺子就无法到达的部分）。我们最终将得到一个由大写字母、弧线和点边界的（不一定是凸的）物体。如果我们现在将所有圆面拉直为三角形和线段，则可以直观地描述所谓的 alpha 形状S。

Open3D 实现了涉及权衡参数alpha的方法create_from_point_cloud_alpha_shape。

bunny = o3d.data.BunnyMesh()
mesh = o3d.io.read_triangle_mesh(bunny.path)
mesh.compute_vertex_normals()

pcd = mesh.sample_points_poisson_disk(750)
o3d.visualization.draw_geometries([pcd])
alpha = 0.03
print(f"alpha={alpha:.3f}")
mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_alpha_shape(pcd, alpha)
mesh.compute_vertex_normals()
o3d.visualization.draw_geometries([mesh], mesh_show_back_face=True)

该实现基于点云的凸壳。如果我们想从给定的点云中计算多个 alpha 形状，那么我们可以通过只计算凸壳一次并将其传递给 create_from_point_cloud_alpha_shape来节省一些计算。

tetra_mesh, pt_map = o3d.geometry.TetraMesh.create_from_point_cloud(pcd)
for alpha in np.logspace(np.log10(0.5), np.log10(0.01), num=4):
    print(f"alpha={alpha:.3f}")
    mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_alpha_shape(
        pcd, alpha, tetra_mesh, pt_map)
    mesh.compute_vertex_normals()
    o3d.visualization.draw_geometries([mesh], mesh_show_back_face=True)

Ball pivoting

球枢轴算法（ball pivoting algorithm,BPA）[Bernardini1999]是一种与阿尔法形状相关的表面重建方法。直观地说，想想一个具有给定半径的3D球，我们将其落在点云上。如果它击中任何3个点（并且它没有落在这3个点上），它就会创建一个三角形。然后，算法开始从现有三角形的边缘旋转，每次它击中球没有落下的3个点时，我们都会创建另一个三角形。

Open3D 在create_from_point_cloud_ball_pivoting中实现了此方法。该方法接受与在点云上旋转的各个球的半径相对应的参数列表radii。

Note:此方法假设点云具有法线。

bunny = o3d.data.BunnyMesh()
gt_mesh = o3d.io.read_triangle_mesh(bunny.path)
gt_mesh.compute_vertex_normals()
pcd = gt_mesh.sample_points_poisson_disk(3000)
o3d.visualization.draw_geometries([pcd])


radii = [0.005, 0.01, 0.02, 0.04]
rec_mesh = o3d.geometry.TriangleMesh.create_from_point_cloud_ball_pivoting(
    pcd, o3d.utility.DoubleVector(radii))
o3d.visualization.draw_geometries([pcd, rec_mesh])

Poisson surface reconstruction

泊松曲面重构方法 [Kazhdan2006] 求解了一个正则化优化问题，得到了一个光滑的曲面。因此，泊松曲面重建可能比上述方法更可取，因为它们会产生非平滑的结果、因为PointCloud点也是所得三角形网格的点vertices，无需任何修改。

Open3D实现了该方法create_from_point_cloud_poisson，该方法基本上是Kazhdan代码的包装器。该函数的一个重要参数depth是定义用于表面重建的八叉树的深度，因此意味着所得三角形网格的分辨率。depth值越高，表示网格具有更多细节。

Note:此方法假设点云具有法线。

import open3d as o3d
eagle_path = r'../data/EaglePointCloud.ply'
pcd = o3d.io.read_point_cloud(eagle_path)

print(pcd)
o3d.visualization.draw_geometries([pcd],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])


print('run Poisson surface reconstruction')
with o3d.utility.VerbosityContextManager(
        o3d.utility.VerbosityLevel.Debug) as cm:
    mesh, densities = o3d.geometry.TriangleMesh.create_from_point_cloud_poisson(
        pcd, depth=9)
print(mesh)
o3d.visualization.draw_geometries([mesh],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])

泊松表面重建也会在低点密度区域创建三角形，甚至推断到某些区域（见上面鹰输出的底部）。函数create_from_point_cloud_poisson具有第二个返回值densities，该值指示每个顶点的密度。低密度值意味着顶点仅由输入点云中的少量点支持。

在下面的代码中，我们使用伪彩色在3D中可视化密度。紫色表示低密度，黄色表示高密度。

print('visualize densities')
densities = np.asarray(densities)
density_colors = plt.get_cmap('plasma')(
    (densities - densities.min()) / (densities.max() - densities.min()))
density_colors = density_colors[:, :3]
density_mesh = o3d.geometry.TriangleMesh()
density_mesh.vertices = mesh.vertices
density_mesh.triangles = mesh.triangles
density_mesh.triangle_normals = mesh.triangle_normals
density_mesh.vertex_colors = o3d.utility.Vector3dVector(density_colors)
o3d.visualization.draw_geometries([density_mesh],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])

我们可以进一步使用密度值来删除具有低支撑的顶点和三角形。在下面的代码中，我们删除了密度值低于0.01所有密度值的分位数的所有顶点（和连接的三角形）。

print('remove low density vertices')
vertices_to_remove = densities < np.quantile(densities, 0.01)
mesh.remove_vertices_by_mask(vertices_to_remove)
print(mesh)
o3d.visualization.draw_geometries([mesh],
                                  zoom=0.664,
                                  front=[-0.4761, -0.4698, -0.7434],
                                  lookat=[1.8900, 3.2596, 0.9284],
                                  up=[0.2304, -0.8825, 0.4101])

Normal estimation 法线估计

在上面的例子中，我们假设点云具有指向外部的法线。但是，并非所有点云都已附带相关的法线。Open3D 可用estimate_normals估计点云法线，其局部拟合每个 3D 点的平面以推导出法线。但是，估计的法线可能不是一致的。 orient_normals_consistent_tangent_plane使用最小生成树传播法线。

bunny = o3d.data.BunnyMesh()
gt_mesh = o3d.io.read_triangle_mesh(bunny.path)

pcd = gt_mesh.sample_points_poisson_disk(5000)
pcd.normals = o3d.utility.Vector3dVector(np.zeros(
    (1, 3)))  # invalidate existing normals

pcd.estimate_normals()
o3d.visualization.draw_geometries([pcd], point_show_normal=True)


pcd.orient_normals_consistent_tangent_plane(100)
o3d.visualization.draw_geometries([pcd], point_show_normal=True)