ROS关于cv_brige的使用

简介: 最近想使用OpenCV 和ROS实现点云的拼接,实现三维重建,那么在学习了kinect的基本的使用方法以后我们知道,直接使用ROS 的包即可得到点云,深度图,rgb图等信息,roslaunch openni_launch openni.launch(深度图彩色图,还有点云都获取了)rosrun openni_camera openni_node   (深度图与彩色图)那么实现点云的拼接就需要使用cv_bridge把ROS 的数据格式转为Opencv可以使用的数据格式。

最近想使用OpenCV 和ROS实现点云的拼接,实现三维重建,那么在学习了kinect的基本的使用方法以后我们知道,直接使用ROS 的包即可得到点云,深度图,rgb图等信息,

roslaunch openni_launch openni.launch(深度图彩色图,还有点云都获取了)

rosrun openni_camera openni_node   (深度图与彩色图)

那么实现点云的拼接就需要使用cv_bridge把ROS 的数据格式转为Opencv可以使用的数据格式。即是一个提供ROS和OpenCV库提供之间的接口的开发包。

                                                   

(1) 将ROS图像信息转换为OpenCV图像

cvbridge定义了一个opencv图像cvimage的类型、包含了编码和ROS的信息头。cvimage包含准确的信息sensor_msgs /image,因此我们可以将两种数据类型进行转换。cvimage类格式:

namespace cv_bridge {

class CvImage
{
public:
  std_msgs::Header header;
  std::string encoding;
  cv::Mat image;
};

typedef boost::shared_ptr<CvImage> CvImagePtr;
typedef boost::shared_ptr<CvImage const> CvImageConstPtr;

}

当要把一个ROS 的sensor_msgs /image 信息转化为一cvimage,cvbridge有两个不同的使用情况:

(1)如果要修改某一位的数据。我们必须复制ROS信息数据的作为副本。

(2)不修改数据。可以安全地共享的ROS信息,而不是复制的数据。

cvbridge转换为CvImage提供了以下功能:

// Case 1: Always copy, returning a mutable CvImage
CvImagePtr toCvCopy(const sensor_msgs::ImageConstPtr& source,
                    const std::string& encoding = std::string());
CvImagePtr toCvCopy(const sensor_msgs::Image& source,
                    const std::string& encoding = std::string());

// Case 2: Share if possible, returning a const CvImage
CvImageConstPtr toCvShare(const sensor_msgs::ImageConstPtr& source,
                          const std::string& encoding = std::string());
CvImageConstPtr toCvShare(const sensor_msgs::Image& source,
                          const boost::shared_ptr<void const>& tracked_object,
                          const std::string& encoding = std::string());

输入是图像消息指针,以及可选的编码参数。编码是指cvimage的类型。

tocvcopy复制从ROS消息的图像数据,可以自由修改返回的cvimage。即使当源和目的编码匹配。

tocvshare将避免复制,在ROS的消息数据把指针返回的 cv::mat,,如果源和目的编码匹配。只要你保持一份返回的cvimage,ROS的消息数据将不会释放。如果编码不匹配时,它将分配一个新的缓冲区,执行转换。将不得修改返回的cvimage,因为它可能与ROS的图像信息共享数据,这反过来又可能与其他回调函数共享。注:对tocvshare二次过载更方便,转换当一个指针指向其他信息类型(如stereo_msgs / disparityimage)包含一个sensor_msgs /image。

如果没有编码(或更确切地说,空字符串),则目标图像编码将与图像消息编码相同。在这种情况下tocvshare保证不复制图像数据。图像编码可以是以下任何一个opencv图像编码:

  • 8UC[1-4]
  • 8SC[1-4]
  • 16UC[1-4]
  • 16SC[1-4]
  • 32SC[1-4]
  • 32FC[1-4]
  • 64FC[1-4]

介绍集中cvbridge 中常见的数据编码的形式,cv_bridge可以有选择的对颜色和深度信息进行转化。为了使用指定的特征编码,就有下面集中的编码形式:

mono8:  CV_8UC1, 灰度图像

mono16: CV_16UC1,16位灰度图像

bgr8: CV_8UC3,带有颜色信息并且颜色的顺序是BGR顺序

rgb8: CV_8UC3,带有颜色信息并且颜色的顺序是RGB顺序

bgra8: CV_8UC4, BGR的彩色图像,并且带alpha通道

rgba8: CV_8UC4,CV,RGB彩色图像,并且带alpha通道

注:这其中mono8和bgr8两种图像编码格式是大多数OpenCV的编码格式。

Finally, CvBridge will recognize Bayer pattern encodings as having OpenCV type 8UC1 (8-bit unsigned, one channel). It will not perform conversions to or from Bayer pattern; in a typical ROS system, this is done instead by image_proc. CvBridge recognizes the following Bayer encodings:

  • bayer_rggb8

  • bayer_bggr8

  • bayer_gbrg8

  • bayer_grbg8

1.把Opencv图像转换为ROS图像格式

To convert a CvImage into a ROS image message, use one the toImageMsg() member function:

class CvImage
{
  sensor_msgs::ImagePtr toImageMsg() const;

  // Overload mainly intended for aggregate messages that contain
  // a sensor_msgs::Image as a member.
  void toImageMsg(sensor_msgs::Image& ros_image) const;
};

举个例子

首先要在创建的包CMakeLists.txt里添加依赖包。分别如下:

sensor_msgs
cv_bridge
roscpp
std_msgs
image_transport                         

 在src文件下建立一个cv_ros_beginner.cpp文件文件内容如下

#include <ros/ros.h>               //ros 的头文件
#include <image_transport/image_transport.h>   //image_transport
#include <cv_bridge/cv_bridge.h>              //cv_bridge
#include <sensor_msgs/image_encodings.h>    //图像编码格式
#include <opencv2/imgproc/imgproc.hpp>      //图像处理
#include <opencv2/highgui/highgui.hpp>       //opencv GUI

static const std::string OPENCV_WINDOW = "Image window";   //申明一个GUI 的显示的字符串

class ImageConverter    //申明一个图像转换的类
{
  ros::NodeHandle nh_;        //实例化一个节点
  image_transport::ImageTransport it_;
  image_transport::Subscriber image_sub_;     //订阅节点
  image_transport::Publisher image_pub_;      //发布节点
  
public:
  ImageConverter()
    : it_(nh_)
  {
    // Subscrive to input video feed and publish output video feed
    image_sub_ = it_.subscribe("/rgb/image_raw", 1, &ImageConverter::imageCb, this);
    image_pub_ = it_.advertise("/image_converter/output_video", 1);

    cv::namedWindow(OPENCV_WINDOW);
  }

  ~ImageConverter()
  {
    cv::destroyWindow(OPENCV_WINDOW);
  }

  void imageCb(const sensor_msgs::ImageConstPtr& msg)   //回调函数
  {
    cv_bridge::CvImagePtr cv_ptr;  //申明一个CvImagePtr
    try
    {
      cv_ptr = cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::BGR8);
    }
    catch (cv_bridge::Exception& e)
    {
      ROS_ERROR("cv_bridge exception: %s", e.what());
      return;
    }
//转化为opencv的格式之后就可以对图像进行操作了
    // Draw an example circle on the video stream
    if (cv_ptr->image.rows > 60 && cv_ptr->image.cols > 60)
      cv::circle(cv_ptr->image, cv::Point(50, 50), 10, CV_RGB(255,0,0));  //画圆

    // Update GUI Window
    cv::imshow(OPENCV_WINDOW, cv_ptr->image);
    cv::waitKey(3);
    
    // Output modified video stream
    image_pub_.publish(cv_ptr->toImageMsg());
  }
};

int main(int argc, char** argv)
{
  ros::init(argc, argv, "image_converter");
  ImageConverter ic;
  ros::spin();
  return 0;
}

然后在CMakeLists.txt添加,

  add_executable(cv_ros_beginner src/cv_ros_beginner.cpp)
 target_link_libraries(cv_ros_beginner
   ${catkin_LIBRARIES}
 )

返回catin_ws 下catkin_make即可生成可执行文件

那么我们在查看结果的时候就是要把

image_sub_ = it_.subscribe("/rgb/image_raw", 1, &ImageConverter::imageCb, this);                 

把订阅的节点换成之前我们需要订阅的节点即可实现    在订阅的图像上画一个小圆圈,并且可视化出来。

 (小技巧记录:如果你的工作空间下包很多,每次都使用catkin_make的话效率十分低下,因为这种编译方法会编译工作空间下的所有的包,特别是我们在调试程序是会经常修改CMakeLists.txt文件里的内容,这样每次都会要编译整个工作空间,那么所以我们可以使用ROS的catkin_Make的功能编译一个或者多个包,具体的命令是:catkin_make -DCATKIN_WHITELIST_PACKAGES=" 你的包名"),例如:catkin_make -DCATKIN_WHITELIST_PACKAGES="ros_slam"

如果需要编译两个或者多个只需要中间加分号即可catkin_make -DCATKIN_WHITELIST_PACKAGES="ros_slam;cv_bridge",

只是搬运以下官网的程序,当然你可以实现更多的处理

那么有关于ROS以及PCL的使用的兴趣者扫描二维码关注一起与我交流分享

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
ROS入门实践
本课程将基于基础设施即代码 IaC 的理念,介绍阿里云自动化编排服务ROS的概念、功能和使用方式,并通过实际应用场景介绍如何借助ROS实现云资源的自动化部署,使得云上资源部署和运维工作更为高效。
相关文章
|
8月前
|
存储 SQL 关系型数据库
TiDB,金融级开源NewSQL
本文介绍了国内自研且开源的NewSQL数据库TiDB,它具备分布式强一致性事务、水平扩展、高可用等特性,几乎满足了对数据库的所有需求,堪称数据库中的“六边形战士”。文章回顾了数据库技术的发展历程,从人工管理阶段到文件系统阶段,再到现代的数据库系统阶段。最后,文章总结了TiDB的前景和挑战,指出虽然部署成本较高,但在特定行业和业务领域中具有巨大潜力。
473 11
TiDB,金融级开源NewSQL
|
7月前
|
人工智能 编解码 算法
VideoFusion:开源视频处理神器!一键去黑边水印,AI提升画质+批量剪辑全搞定
VideoFusion 是一款开源的AI视频剪辑工具,支持自动去除视频黑边、水印和字幕,提供批量处理、画质提升等功能,适合视频创作者和自媒体运营者使用。
850 3
|
Java API 开发者
Java 注释规范
Java中的注释规范包括单行注释(`//`)、多行注释(`/* ... */`)和文档注释(`/** ... */`)。单行注释适用于简短说明,多行注释用于较长描述,文档注释则专为自动生成API文档设计。注释应清晰明了、及时更新,避免冗余,并详细说明参数和返回值。遵循这些规范有助于提高代码的可读性和可维护性。
693 5
|
人工智能 弹性计算 算法
华人开源最强「AI 程序员」炸场,让 GPT-4 自己修 Bug!
普林斯顿大学推出开源软件工程代理SWE-agent,利用GPT-4转化成能修复GitHub错误的AI程序员。在某些基准测试中,SWE-agent的表现与Devin相当,甚至在修复Bug速度上超越Devin,平均只需93秒。其特点是拥有开源接口,支持代码编辑和执行,提高了与代码库的交互效率。
|
测试技术 API Python
掌握 Playwright:元素操作技巧大揭秘
Playwright Python 库简化了网页元素的交互,如点击和输入文本。使用 `click()` 方法可实现元素点击,`fill()` 方法用于在输入字段填充文本,而 `get_attribute()` 方法则用来获取元素属性值。这些功能在自动化测试和网页爬取中非常实用。
|
机器学习/深度学习 文字识别 自然语言处理
【大模型】大型模型飞跃升级—文档图像识别领域迎来技术巨变
通过对GPT-4V和文档识别领域的深入分析和思考,为OCR文档识别领域的研究开辟了新的方向。需求不断增长的背景下,提高识别精度和处理效率成为了迫切需要满足的新应用标准。在这一背景下,出现了: 素级OCR统一模型、OCR大一统模型、文档识别分析+LLM(LanguageModel)等应用的新方向。下面来详细看一下。
1000 0
|
Java
java手机号码脱敏
手机号脱敏处理主要是通过使用String.replaceAll()方法
312 0
|
机器学习/深度学习 资源调度 算法
【RLchina第四讲】Model-Based Reinforcement Learning(上)
【RLchina第四讲】Model-Based Reinforcement Learning(上)
1225 0
|
安全 Windows
Windows下禁止软件wps热点自启动和后台运行
Windows下禁止软件wps热点自启动和后台运行
1438 0
Windows下禁止软件wps热点自启动和后台运行