1 ROS中的图像数据
1.1 二维图像
1.1.1 安装安装usb_cam
步骤一，检测电脑是安装usb_cam还是应该安装uvc_cam
$ lsusb #查看usb摄像头
打开网址：http://www.ideasonboard.org/uvc/，查看与自己摄像头匹配的ID号。
如果有，就说明你的笔记本摄像头比较好，有他的厂商提供的linux驱动，是uvc_cam
没有匹配的ID，说明是usb_cam。
Bus 001 Device 002: ID 04f2:b6d9 Chicony Electronics Co., Ltd #摄像头
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 004: ID 0e0f:0008 VMware, Inc.
Bus 002 Device 003: ID 0e0f:0002 VMware, Inc. Virtual USB Hub
Bus 002 Device 002: ID 0e0f:0003 VMware, Inc. Virtual Mouse
Bus 002 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
步骤二，查看摄像头设备
$ ls /dev/video* #默认笔记本自带摄像头是video0
步骤三，测试您的网络摄像头；(虚拟机+ubuntu16.04)
$ sudo apt-get install cheese $ cheese # 启动cheese查看摄像头情况
步骤四，安装usb_cam
$ sudo apt-get install ros-kinetic-usb-cam # 安装摄像头功能包 $ roslaunch usb_cam usb_cam-test.launch # 启动功能包 $ rqt_image_view # 可视化工具
新版本的usb_cam包在launch文件夹下有自带的launch文件，名叫usb_cam-test.launch
1.1.2 显示图像数据
显示图像类型
$ roslaunch usb_cam usb_cam-test.launch $ rostopic info /usb_cam/image_raw
查看图像消息
$ rosmsg show sensor_msgs/Image
Header:消息头，包含消息序号，时间戳和绑定坐标系；
height:图像的纵向分辨率；
width:图像的横向分辨率；
encoding:图像的编码格式，包含RGB、YUV等常用格式，不涉及图像压缩编码；
is_bigendian:图像数据的大小端存储模式；
step:一行图像数据的字节数量，作为数据的步长参数；
data:存储图像数据的数组，大小为step*height个字节；
1080 * 720分辨率的摄像头产生一帧图像的数据大小是 3 * 1080 * 720=2764800字节，即2.7648MB
压缩图像消息
$ rosmsg show sensor_msgs/CompressedImage
- format:图像的压缩编码格式(jpeg，png，bmp)
- data:存储图像数据数组
1.2 三维图像(kinect)
红外摄像头采集三维点云数据，采集的位置信息从xyz三个方向上描述，每一个方向上的数据都是一个浮点数；
一个浮点数占据的空间大小为4个字节。
显示点云类型
$ roslaunch freenet_launch freenect.launch #启动kinect $ rostopic info /camera/depth_registered/points
查看点云消息
$ rosmsg show sensor_msgs/PointCloud2
height:点云图像的纵向分辨率；
width:点云图像的横向分辨率；
fields:每个点的数据类型；
is_bigendian:数据的大小端存储模式；
point_step:单点的数据字节步长；
row_step:一列数据的字节步长；
data:点云数据的存储数组，总字节大小为row_step*height；
is_dense:是否有无效点；如果有无效点，考虑这一帧的图像数据是否保留或者舍弃。
点云单帧数据量也很大，如果使用分布式网络传输，需要考虑能否满足数据的传输要求，或者针对数据进行压缩。
2 摄像头标定
2.1 摄像头标定准备工作
图像数据采集之前，需要把摄像头进行一些标定，关于如何标定，我们需要外部工具：棋盘格标定靶
摄像头为什么要标定？
摄像头这种精密仪器对光学器件的要求较高，由于摄像头内部与外部的一些原因，生成的物体图像往往会发生畸变，为避免数据源造成的误差，需要针对摄像头的参数进行标定。
安装标定功能包
$ sudo apt-get install ros-kinetic-camera-calibration
2.2 摄像头标定流程
2.2.1 普通摄像头标定流程
1.启动摄像头
$ roslaunch robot_vision usb_cam.launch # 启动摄像头功能包 $ roslaunch usb_cam usb_cam-test.launch # 启动摄像头功能包
2.启动标定包
$ rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.024 image:=/usb_cam/image_raw camera:=/usb_cam # 8x6，中间是x，而不是乘号； # 启动标定包之后，把棋盘格标定靶放在摄像头的可视范围内； # square 0.024 实际打印出来纸张的正方形边长，自己拿尺子测量；0.024米 - 1.size:标定棋盘格的内部角点个数，这里使用的棋盘一共有六行，每行有8个内部角点； - 2.square:这个参数对应每个棋盘格的边长，单位是米； - 3.image和camera:设置摄像头发布的图像话题；
3.标定过程
X:标定靶在摄像头视野中的左右移动，变为绿色说明已经满足标定需求；
Y:标定靶在摄像头视野中的上下移动；
Size:标定靶在摄像头视野中的前后（远近）移动；
Skew:标定靶在摄像头视野中的倾斜转动；
CALIBRATE：标定之前是灰色；标定成功之后，变为深绿色，说明当前标定已经结束；点击它，界面好像未响应，这是因为它在后台进行数据运算，不要关闭；
后面两个灰色灰色按键SAVE、COMMIT变为深绿色，说明计算完成；
4.同时在终端中显示标定结果：
点击按键SAVE，在终端中显示标定的数据放在哪一个路径下面；
(‘Wrote calibration data to’, ‘/tmp/calibrationdata.tar.gz’)
5.解压缩——找到标定文件
(‘Wrote calibration data to’, ‘/tmp/calibrationdata.tar.gz’)
找到calibrationdata.tar.gz文件，解压，里面有很多图片（在做标定的时候，采样图片，这些图片已经没用），我们需要只有一个文件ost.yaml文件，把这个文件拷贝到功能包（自己建的任务的功能包）下面；
image_width: 640 image_height: 480 camera_name: narrow_stereo camera_matrix: rows: 3 cols: 3 data: [672.219498, 0.000000, 322.913816, 0.000000, 676.060141, 220.617820, 0.000000, 0.000000, 1.000000] distortion_model: plumb_bob distortion_coefficients: rows: 1 cols: 5 data: [-0.146620, 0.187588, 0.001657, 0.000009, 0.000000] rectification_matrix: rows: 3 cols: 3 data: [1.000000, 0.000000, 0.000000, 0.000000, 1.000000, 0.000000, 0.000000, 0.000000, 1.000000] projection_matrix: rows: 3 cols: 4 data: [655.937012, 0.000000, 323.001754, 0.000000, 0.000000, 665.393311, 220.554221, 0.000000, 0.000000, 0.000000, 1.000000, 0.000000]
2.2.2 Kinect标定流程
Kinect包含彩色摄像头和红外摄像头，我们需要针对两个摄像头分别做标定。
1.启动Kinect
$ roslaunch robot_vision freenect.launch
2.启动彩色摄像头
$ rosrun camera_calibration cameracalibrator.py image:=/camera/rgb/image_raw camera:=/camera/rgb --size 8x6 --square 0.024
3.标定红外摄像头
$ rosrun camera_calibration cameracalibrator.py image:=/camera/ir/image_raw camera:=
2.3 摄像头使用标定文件
2.3.1 普通摄像头如何使用标定文件？
在launch文件中加载标定文件，通过camera_info_url参数来进行加载；
2.3.2 Kinect如何使用标定文件？
Kinect因为有两个标定文件，因此需要通过两个参数的加载来完成；把两个文件都加载在进来。
2.3.3 使用标定文件时可能产生的错误
原因：标定文件中camera_name参数与实际传感器名称不匹配
解决方法：按照警告提示的信息进行修改即可。
比如根据上图所示的警告，分别将两个标定文件.yaml中的camera_name参数修改为
“rgb_A70774707163327A”、“depth_A70774707163327A”即可。
