带你读《2022技术人的百宝黑皮书》——商品3D建模的视觉定位和前景分割方法(2) https://developer.aliyun.com/article/1247977?groupCode=taobaotech
一种比较简单的方法是用图像分割直接提取前景物体，将2个视频的图像混合在一起，直接在白底图上做SfM。实验发现这种情况位姿精度下降非常严重，因为前景特征非常少。
还有一种方法就是我们使用点云配准算法，又叫点云注册(Point Cloud Registration)。通过计算3D点云的特征（又分为局部特征和全局特征），计算出两堆点云的空间变换。但是在我们这个业务场景也无法适用。第一，单目SfM是缺乏尺度的，稀疏点云之间的尺度大小不一致，目前的点云配准方法并不支持。第二，由于正面摆放和侧面摆放，点云的overlap比较少，用业界的点云配准算法也很难得到变换结果。如下图是用ECCV2020的DeepGMR的的点云配准结果，发现匹配误差非常大，2个稀疏点云无法对齐。
所以我们提出了：在“2D上匹配，3D上求解”的算法框架，用来对齐2个拍摄视频的位姿。以下是设计的系统框图：
将点云投影到图像上提取特征，匹配，统计2D匹配的数量，得到3D点和3D点的对应关系，最后求解7个自由度：
尺度s，旋转R，平移T：
可以成功将两个点云对齐，如下图蓝色和红色点云所示。
用对齐后的位姿去重建，效果如下图所示，无论正面还是底面都很清晰，说明点云配准所求出的变换精度较高。
带你读《2022技术人的百宝黑皮书》——商品3D建模的视觉定位和前景分割方法(4) https://developer.aliyun.com/article/1247974?groupCode=taobaotech
