带你读《2022技术人的百宝黑皮书》——商品3D建模的视觉定位和前景分割方法(1) https://developer.aliyun.com/article/1247978?groupCode=taobaotech
对称物体场景
在实际的环拍数据中，容易出现对称的物体和背景。即某些物体从不同视角呈现了差不多的图像特征，会造成一个错误的回环信号。如下图图1所示，两个完全不同的视角有着相似的图像特征。错误的闭环检测会造成错误的位姿，如下图图2所示。因此我们采用coarse-to-fine的SfM策略。
先不考虑闭环，计算出初步相机姿态（不够准）。基于第一步的相机位置作为先验，再考虑闭环，计算出准确的相机姿态。
模糊图像场景
相机运动过快时容易采集到模糊图像。针对模糊图像SfM需要添加跳帧匹配策略。
转台场景
转台可以降低环拍难度。相机固定，转台运动的情况下，需要过滤掉转台外的像素点。我们采用了平面跟踪技术，能够准确跟踪转台平面的区域。转台外的特征点需要在匹配时过滤掉。
总结
经过上述一系列改进，视觉定位的成功率得到的大幅度提升，在实际业务中，视觉定位成功率由开源方案的80%提升到了99.3%。
多视频联合视觉定位
两个视频位姿对齐
如果我们要实现商品的全方位重建（比如重建鞋子、手办底部），我们需要将商品侧翻一下，再拍摄一个视频。前后拍摄的2个视频，如下图所示。由于个视单频下的相机姿态独立计算，需要将两个视频的位姿对齐到统一的坐标系。
拍摄的2个视频
带你读《2022技术人的百宝黑皮书》——商品3D建模的视觉定位和前景分割方法(3) https://developer.aliyun.com/article/1247975?groupCode=taobaotech
