基于 docker 环境的 LET-VINS 复现

本文涉及的产品
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
简介: 该文介绍了在Docker环境下实践LET-NET的步骤。从GitHub克隆LET-NET代码,使用Docker运行vins-mono环境。安装ncnn,配置代理,更新源,安装依赖并验证安装成功。在运行LET-NET时遇到opencv版本不兼容,指出怎么安装指定版本的 opencv。解决Docker容器中的显示问题,通过`xhost +`命令运行LET-NET。在ROS中构建VINS-Mono时,cv_bridge找不到的问题,通过安装cv_bridge,设置ROS环境和工作空间,以及解决ncnn的配置问题,最终成功运行VINS-Mono。还需要下载UMA-VI数据集并修改相关路径以运行演示。

该文介绍了在Docker环境下实践LET-NET的步骤。首先,从GitHub克隆LET-NET代码,然后使用Docker运行vins-mono环境。接着,安装ncnn,配置代理,更新源,安装依赖并验证安装成功。在运行LET-NET时遇到opencv版本不兼容问题,因此将opencv从3.2升级到3.4.20,通过克隆特定版本的opencv,编译并安装。之后,解决Docker容器中的显示问题,通过xhost +命令运行LET-NET。在ROS中构建VINS-Mono时,遇到了cv_bridge找不到的问题,通过安装cv_bridge,设置ROS环境和工作空间,以及解决ncnn的配置问题,最终成功运行VINS-Mono。同时,还需要下载UMA-VI数据集并修改相关路径以运行演示。

基于 docker 实践

下载代码:

git clone https://github.com/linyicheng1/LET-NET.git
cd LET-NET/

安装思路:

先安装 vins-mono 环境:

我们先去 docker hub 找个镜像:

docker pull hyeonjaegil/vins-mono

docker run -it --privileged     --network host  --gpus all \
-v /tmp/.X11-unix:/tmp/.X11-unix   \
-e DISPLAY -e NVIDIA_VISIBLE_DEVICES=all   \
-e NVIDIA_DRIVER_CAPABILITIES=all   \
-e FASTRTPS_DEFAULT_PROFILES_FILE=/usr/local/share/middleware_profiles/rtps_udp_profile.xml   \
-v /dev/*:/dev/*       \
-v /etc/localtime:/etc/localtime:ro       \
-v ~/.Xauthority:/root/.Xauthority:rw   \
-v /home/h/projects/LET-NET:/root/LET-NET       \
--name vins-mono-v1      \
hyeonjaegil/vins-mono:melodic     /bin/bash

lsb_release -a # 查看系统版本

安装 ncnn

https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-linux
https://blog.csdn.net/weixin_44855366/article/details/130165967

# 配置代理
git config --global http.proxy http://127.0.0.1:7890 
git config --global https.proxy http://127.0.0.1:7890
# 更新源
apt-get update
git clone https://github.com/Tencent/ncnn.git
cd ncnn
git submodule update --init
# 安装依赖
sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libomp-dev libvulkan-dev vulkan-utils libopencv-dev
# 安装 ncnn
mkdir build
cd build
 cmake ..
 make -j$(nproc)
 make install # ncnn 的文件都安装在 build 下的 install 里面

# 验证
cd ../examples
../build/examples/squeezenet ../images/256-ncnn.png
# 得到输出
532 = 0.165951
920 = 0.094098
716 = 0.062193

运行 LET-NET

cd /root/LET-NET/build
cmake .. && make -j4

报错:

/root/LET-NET/tracking.cpp:147:6: error: invalid initialization of reference of type ‘const cv::ParallelLoopBody&’ from expression of type ‘corner_tracking::extractFeature(const cv::Mat&, int, const std::vector<cv::Point_<float> >&)::<lambda(const cv::Range&)>’
 });
  ^

原因:

opencv 版本不兼容,这个镜像是 opencv 3.2,我们给它升级下

更新 opencv 3.2 到 opencv 3.4.20

怎么 安装 指定版本的 opencv?

要使用 git clone 命令克隆特定版本的 OpenCV,可以按照以下步骤操作。这些步骤包括克隆 OpenCV 仓库、切换到指定版本的分支或标签,然后继续编译和安装。

步骤 1:克隆 OpenCV 仓库
首先,克隆 OpenCV 和 OpenCV Contrib 仓库:

git clone https://github.com/opencv/opencv.git
git clone https://github.com/opencv/opencv_contrib.git

步骤 2:切换到指定版本
进入克隆的 OpenCV 仓库并列出所有可用的版本标签:

cd opencv
git tag

这将显示所有版本的标签。例如,您可能会看到以下标签:

2.4.13
3.4.0
4.5.1
4.5.2
4.5.3
4.5.4
4.5.5
4.6.0
...

假设您想切换到版本 3.4.20,可以使用以下命令:

git checkout 3.4.20

同样,对于 OpenCV Contrib 仓库:

cd ../opencv_contrib
git tag
git checkout 3.4.20

步骤 3:编译和安装 OpenCV
回到 OpenCV 仓库目录,创建一个 build 目录并进入:

cd ../opencv
mkdir build && cd build

然后使用 cmake 配置 OpenCV 构建系统,指定 OpenCV Contrib 模块路径:

cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules ..

卡住(clash):

export http_proxy=http://127.0.0.1:7890
export https_proxy=http://127.0.0.1:7890

接着编译 OpenCV:

make -j$(nproc)

最后安装 OpenCV:

sudo make install
sudo ldconfig

通过这些步骤,您可以克隆并安装特定版本的 OpenCV。这将确保您使用的是所需的版本,无论是为了兼容性还是特定的功能需求。

继续运行 LET-NET

cd /root/LET-NET/build
cmake .. && make -j4
cd ..
./build/demo ./model/model.param ./model/model.bin ./assets/nyu_snippet.mp4

在 docker 容器中,报错:

terminate called after throwing an instance of 'cv::Exception'
  what():  OpenCV(3.4.20) /home/shaozu/opencv/modules/highgui/src/window_gtk.cpp:624: error: (-2:Unspecified error) Can't initialize GTK backend in function 'cvInitSystem'

运行 Docker 容器时,需要将主机的显示环境传递给容器。这样,GTK 可以在容器中正确初始化。

xhost +

然后再运行即可。

Build VINS-Mono on ROS

LET-NET/assets/VINS-Mono.zip copy 到 /root/catkin_ws/src 路径下

修改 ncnn 的路径:

cd ~/catkin_ws/src
vim  VINS-Mono/feature_tracker/CMakeLists.txt
# set(ncnn_DIR "/root/ncnn/build/install/lib/cmake/ncnn" CACHE PATH "Directory that contains ncnnConfig.cmake")

cd ../
catkin_make

报错:

-- Could NOT find cv_bridge (missing: cv_bridge_DIR)
-- Could not find the required component 'cv_bridge'. The following CMake error indicates that you either need to install the package with the same name or change your environment so that it can be found.
CMake Error at /opt/ros/melodic/share/catkin/cmake/catkinConfig.cmake:83 (find_package):
Could not find a package configuration file provided by "cv_bridge" with
any of the following names:
cv_bridgeConfig.cmake
cv_bridge-config.cmake
Add the installation prefix of "cv_bridge" to CMAKE_PREFIX_PATH or set
"cv_bridge_DIR" to a directory containing one of the above files. If
"cv_bridge" provides a separate development package or SDK, be sure it has
been installed.

原因:

这个错误表明 CMake 无法找到 cv_bridge 包的配置文件,这通常发生在配置 ROS(机器人操作系统)项目时。cv_bridge 是一个用于在 ROS 中转换 OpenCV 图像与 ROS 图像消息的包。如果您遇到这个错误,请按照以下步骤进行排查和解决:

步骤 1:安装 cv_bridge
确保您已经安装了 cv_bridge。可以通过以下命令安装:

sudo apt-get update
sudo apt-get install ros-<distro>-cv-bridge

将 替换为您的 ROS 发行版,例如 melodic, noetic 等。

这里我们选择:melodic

步骤 2:设置 ROS 环境

确保您已经设置了 ROS 环境变量。通常在 ~/.bashrc 中添加以下内容:

source /opt/ros/<distro>/setup.bash

同样,将 替换为您的 ROS 发行版。

然后,重新加载 ~/.bashrc:

source ~/.bashrc

步骤 3:确保工作空间的正确性

如果您正在使用 ROS 工作空间,请确保您已经在工作空间中构建并安装了所有依赖项。

  1. 初始化工作空间:

    cd ~/catkin_ws
    catkin_make

报错:

CMake Error at VINS-Mono/feature_tracker/CMakeLists.txt:20 (find_package):
  By not providing "Findncnn.cmake" in CMAKE_MODULE_PATH this project has
  asked CMake to find a package configuration file provided by "ncnn", but
  CMake did not find one.

  Could not find a package configuration file provided by "ncnn" with any of
  the following names:

    ncnnConfig.cmake
    ncnn-config.cmake

  Add the installation prefix of "ncnn" to CMAKE_PREFIX_PATH or set
  "ncnn_DIR" to a directory containing one of the above files.  If "ncnn"
  provides a separate development package or SDK, be sure it has been
  installed.

原因:

需要设置环境变量:

export ncnn_DIR=/root/ncnn/build/install/lib/cmake/ncnn

然后再:

catkin_make
source devel/setup.bash

修改 /root/catkin_ws/src/VINS-Mono/feature_tracker/src/feature_tracker_illu.cpp

void readImage() {
    const std::string path = "/root/LET-NET/datasets/lab-module-csc_2019-02-01-14-28-51_InOut/";

修改 src/VINS-Mono/feature_tracker/src/feature_tracker.cpp

// net.load_param("/home/c211/lyc/ncnn/let_net/LET-NET/model/model.param");
// net.load_model("/home/c211/lyc/ncnn/let_net/LET-NET/model/model.bin");
net.load_param("/root/LET-NET/model/model.param");
net.load_model("/root/LET-NET/model/model.bin");

修改:src/VINS-Mono/feature_tracker/src/parameters.cpp

config_file = "/root/catkin_ws/src/VINS-Mono/config/uma-vi.yaml";//readParam<std::string>(n, "config_file");
std::string VINS_FOLDER_PATH = "/root/catkin_ws/src/VINS-Mono/";//readParam<std::string>(n, "vins_folder");


catkin_make
source devel/setup.bash

Download UMA-VI datasets

Download two sequence in https://mapir.isa.uma.es/mapirwebsite/?p=2108

lab-module-csc
lab-module-rev-csc
  1. Modified the path
    In feature_tracker folder, change the path value in function readImage() to your path.

If you want run in orign VINS, you can just delete the define #define LET_NET in feature_tracker/src/feature_tracker.h

  1. Run Demo as in VINS
    In terminal 1, run roslaunch vins_estimator uma_vi.launch
    In terminal 2, run roslaunch vins_estimator vins_rviz.launch
    In terminal 3, run ./devel/lib/feature_tracker/feature_tracker_illustration

那么如何开启多个终端呢?请参考:

参考:docker容器启动多个终端,docker启动多个终端

即可看到效果。

相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
阿里云资源编排ROS使用教程
资源编排(Resource Orchestration)是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、配置等,并自动完成所有资源的创建和配置,以达到自动化部署、运维等目的。编排模板同时也是一种标准化的资源和应用交付方式,并且可以随时编辑修改,使基础设施即代码(Infrastructure as Code)成为可能。 产品详情:https://www.aliyun.com/product/ros/
相关文章
|
2月前
|
弹性计算 运维 Linux
Docker环境如何配置?使用阿里云OOS一步搞定!
阿里云OOS简化了ECS上应用部署,提供Docker一键安装服务。支持多种操作系统,包括Alibaba Cloud Linux、CentOS、Ubuntu、Debian和Windows Server。要安装Docker,用户只需在OOS扩展程序中选择并确认实例,执行安装。OOS扩展程序还支持Java、Python等开发环境及宝塔面板、WordPress等应用的快速配置,提升运维效率,让云资源管理更便捷。
53488 3
Docker环境如何配置?使用阿里云OOS一步搞定!
|
2月前
|
Docker 容器
paddleocr 在docker环境下部署_docker部署paddleocr,90%的人看完都说好
paddleocr 在docker环境下部署_docker部署paddleocr,90%的人看完都说好
|
2月前
|
SQL API 流计算
实时计算 Flink版产品使用合集之在Mac M1下的Docker环境中开启SQL Server代理的操作步骤是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
175 1
|
10天前
|
监控 数据可视化 Linux
使用Portainer图形化工具轻松管理远程Docker环境并实现远程访问
使用Portainer图形化工具轻松管理远程Docker环境并实现远程访问
|
1月前
|
Docker 容器
蓝易云 - docker之Consul环境的部署
注意,这只是一个基本的Consul环境的部署。在生产环境中,你可能需要配置更多的选项,如数据持久化、网络设置等。
25 1
|
1月前
|
Docker 容器
蓝易云 - docker环境安装软件、更换镜像源以及E: Unable to locate package xxx解决
"E: Unable to locate package xxx"这个错误通常意味着APT包管理器无法找到你想要安装的软件包。可能的原因包括:软件包名称错误,软件包不存在,或者软件源没有更新。可以尝试更新软件源(`apt-get update`),确保软件包名称正确,或者更换软件源解决这个问题。
230 1
|
16天前
|
Linux Docker 容器
Docker02--搭建Linux环境,配置Docker,docker images无法访问,因为docker没有启动,阿里云镜像加速器免费的
Docker02--搭建Linux环境,配置Docker,docker images无法访问,因为docker没有启动,阿里云镜像加速器免费的
|
1月前
|
机器学习/深度学习 安全 测试技术
【Docker项目实战】在Docker环境下使用RustScan端口扫描工具
【6月更文挑战第9天】在Docker环境下使用RustScan端口扫描工具
41 5
|
2月前
|
JSON 测试技术 定位技术
【好用的个人工具】在Docker环境下部署Simple mind map思维导图工具
【5月更文挑战第16天】在Docker环境下部署Simple mind map思维导图工具
154 1
【好用的个人工具】在Docker环境下部署Simple mind map思维导图工具
|
1月前
|
NoSQL Ubuntu 关系型数据库
轻松上手 Docker:一键部署常用软件环境指南
轻松上手 Docker:一键部署常用软件环境指南
278 0

热门文章

最新文章