LIO-SAM代码逐行解读(2)-点云预处理

本文涉及的产品
资源编排,不限时长
简介: LIO-SAM代码逐行解读(2)-点云预处理

准备工作

  • 引用头文件
// 引用自定义的函数
#include "utility.h"
// 自定义的消息类型
#include "lio_sam/cloud_info.h"
  • PCL中自定义点云数据结构类型
// 定义Velodyne数据类型  包含 xyz,i强度,r线号,t时间戳
struct VelodynePointXYZIRT
{
    // PCL中的宏定义,包含x、y、z 还有一个对齐变量
    PCL_ADD_POINT4D; // 添加xyz
    PCL_ADD_INTENSITY; // 添加强度
    uint16_t ring; // 添加线号
    float time; // 添加每个点的时间
    EIGEN_MAKE_ALIGNED_OPERATOR_NEW
} EIGEN_ALIGN16;
 // 注册点类型宏 XYZI + "ring" + "time"
POINT_CLOUD_REGISTER_POINT_STRUCT (VelodynePointXYZIRT,
    (float, x, x) (float, y, y) (float, z, z) (float, intensity, intensity)
    (uint16_t, ring, ring) (float, time, time)
)
// 定义Ouster数据类型  包含 xyz,intensity强度,t时间戳,reflectivity反射率,ring线号,noise噪声,range距离
struct OusterPointXYZIRT {
    PCL_ADD_POINT4D;
    float intensity;
    uint32_t t;
    uint16_t reflectivity;
    uint8_t ring;
    uint16_t noise;
    uint32_t range;
    EIGEN_MAKE_ALIGNED_OPERATOR_NEW
} EIGEN_ALIGN16;
POINT_CLOUD_REGISTER_POINT_STRUCT(OusterPointXYZIRT,
    (float, x, x) (float, y, y) (float, z, z) (float, intensity, intensity)
    (uint32_t, t, t) (uint16_t, reflectivity, reflectivity)
    (uint8_t, ring, ring) (uint16_t, noise, noise) (uint32_t, range, range)
)
  • ImageProjection 类,定义各种变量
// Use the Velodyne point format as a common representation
// 默认使用Velodyne点类型
using PointXYZIRT = VelodynePointXYZIRT;
const int queueLength = 2000;
class ImageProjection : public ParamServer
{
private:
    std::mutex imuLock;
    std::mutex odoLock;
    ros::Subscriber subLaserCloud;
    ros::Publisher  pubLaserCloud;
    ros::Publisher pubExtractedCloud;
    ros::Publisher pubLaserCloudInfo;
    ros::Subscriber subImu;
    std::deque<sensor_msgs::Imu> imuQueue;
    ros::Subscriber subOdom;
    std::deque<nav_msgs::Odometry> odomQueue;
    std::deque<sensor_msgs::PointCloud2> cloudQueue;
    sensor_msgs::PointCloud2 currentCloudMsg;
    // 当前激光帧起止时刻间对应的imu数据,计算相对于起始时刻的旋转增量,以及时间戳;
    // 用于插值计算当前激光帧起止时间范围内,每一时刻的旋转姿态
    double *imuTime = new double[queueLength];
    double *imuRotX = new double[queueLength];
    double *imuRotY = new double[queueLength];
    double *imuRotZ = new double[queueLength];
    // 用于去除运动畸变的IMU数量
    int imuPointerCur;
    // 是否为第一个激光点
    bool firstPointFlag;
    // 第一个激光点对应的IMU姿态变换
    Eigen::Affine3f transStartInverse;
    // 接收Velodyne格式的点云数据
    pcl::PointCloud<PointXYZIRT>::Ptr laserCloudIn;
    // Ouster格式的点云数据
    pcl::PointCloud<OusterPointXYZIRT>::Ptr tmpOusterCloudIn;
    pcl::PointCloud<PointType>::Ptr   fullCloud;
    pcl::PointCloud<PointType>::Ptr   extractedCloud;
    // 是否进行了去畸变处理
    int deskewFlag;
    cv::Mat rangeMat;
    // IMU里程计数据去畸变标志位
    bool odomDeskewFlag;
    // 激光点云起始与结束时刻之间的相对平移量
    float odomIncreX;
    float odomIncreY;
    float odomIncreZ;
    // 点云信息
    lio_sam::cloud_info cloudInfo;
    double timeScanCur;
    double timeScanEnd;
    std_msgs::Header cloudHeader;
  • ImageProjection 类,构造函数
public:
    // 构造函数,设置deskewFlag的值为0
    ImageProjection():deskewFlag(0)
    {
        // 订阅imu数据,后端里程记数据,原始点云数据
        // "/imu/data"   "odometry/imu_incremental"  "点云原始数据topic"
        subImu        = nh.subscribe<sensor_msgs::Imu>(imuTopic, 2000, &ImageProjection::imuHandler, this, ros::TransportHints().tcpNoDelay());
        subOdom       = nh.subscribe<nav_msgs::Odometry>(odomTopic+"_incremental", 2000, &ImageProjection::odometryHandler, this, ros::TransportHints().tcpNoDelay());
        subLaserCloud = nh.subscribe<sensor_msgs::PointCloud2>(pointCloudTopic, 5, &ImageProjection::cloudHandler, this, ros::TransportHints().tcpNoDelay());
        // 发布去畸变的点云,集成的点云信息
        pubExtractedCloud = nh.advertise<sensor_msgs::PointCloud2> ("lio_sam/deskew/cloud_deskewed", 1);
        pubLaserCloudInfo = nh.advertise<lio_sam::cloud_info> ("lio_sam/deskew/cloud_info", 1);
        // 指针分配空间  实例化
        allocateMemory();
        resetParameters();
        pcl::console::setVerbosityLevel(pcl::console::L_ERROR);
    }
  • 分配内存空间,重设参数
    /**
     * @brief 各变量分配空间
     * 对各种指针实例化
     * 赋予变量大小
     */
    void allocateMemory()
    {
        laserCloudIn.reset(new pcl::PointCloud<PointXYZIRT>());
        tmpOusterCloudIn.reset(new pcl::PointCloud<OusterPointXYZIRT>());
        fullCloud.reset(new pcl::PointCloud<PointType>());
        extractedCloud.reset(new pcl::PointCloud<PointType>());
        // N_SCAN; 扫描线数,例如16、64
        // Horizon_SCAN; 扫描一周计数,例如每隔0.2°扫描一次,一周360°可以扫描1800次
        // 点云的数量重新设置为  线数*水平点数
        fullCloud->points.resize(N_SCAN*Horizon_SCAN);
        // 每条扫描线起始、结束点的索引
        cloudInfo.startRingIndex.assign(N_SCAN, 0);
        cloudInfo.endRingIndex.assign(N_SCAN, 0);
        // 点云列索引  距离
        cloudInfo.pointColInd.assign(N_SCAN*Horizon_SCAN, 0);
        cloudInfo.pointRange.assign(N_SCAN*Horizon_SCAN, 0);
        resetParameters();
    }
    /**
     * @brief 重设参数
     * 清除变量,定义一个距离图像
     * 重设标志位,以及IMU插值的变量
     */
    void resetParameters()
    {
        laserCloudIn->clear();
        extractedCloud->clear();
        // reset range matrix for range image projection 
        // 设置每一帧点云对应的距离图像大小为N_SCAN与Horizon_SCAN
        rangeMat = cv::Mat(N_SCAN, Horizon_SCAN, CV_32F, cv::Scalar::all(FLT_MAX));
        // 当前可以用于去除畸变处理的IMU数据个数
        imuPointerCur = 0;
        // 是否为第一个点
        firstPointFlag = true;
        // 是否可以用odom来进行点云畸变补偿
        odomDeskewFlag = false;
        // 重设为0
        for (int i = 0; i < queueLength; ++i)
        {
            // 当前激光帧起止时刻间对应的imu数据,计算相对于起始时刻的旋转增量,以及时间戳;
            // 用于插值计算当前激光帧起止时间范围内,每一时刻的旋转姿态
            imuTime[i] = 0;
            imuRotX[i] = 0;
            imuRotY[i] = 0;
            imuRotZ[i] = 0;
        }
    }
    ~ImageProjection(){}

处理IMU数据

  • 接收IMU原始数据,里程计数据
    /**
     * @brief 接收IMU数据"imu/data"
     * 由于ShanTixiao使用的IMU磁力计与加速度计、陀螺仪的坐标系不统一,所以先做一个坐标变换
     * 接着存放到队列imuQueue中
     * @param imuMsg 
     */
    void imuHandler(const sensor_msgs::Imu::ConstPtr& imuMsg)
    {
        sensor_msgs::Imu thisImu = imuConverter(*imuMsg);   // 对imu做一个坐标转换
        // 加一个线程锁,把imu数据保存进队列
        std::lock_guard<std::mutex> lock1(imuLock);
        imuQueue.push_back(thisImu);
        // debug IMU data
        // cout << std::setprecision(6);
        // cout << "IMU acc: " << endl;
        // cout << "x: " << thisImu.linear_acceleration.x << 
        //       ", y: " << thisImu.linear_acceleration.y << 
        //       ", z: " << thisImu.linear_acceleration.z << endl;
        // cout << "IMU gyro: " << endl;
        // cout << "x: " << thisImu.angular_velocity.x << 
        //       ", y: " << thisImu.angular_velocity.y << 
        //       ", z: " << thisImu.angular_velocity.z << endl;
        // double imuRoll, imuPitch, imuYaw;
        // tf::Quaternion orientation;
        // tf::quaternionMsgToTF(thisImu.orientation, orientation);
        // tf::Matrix3x3(orientation).getRPY(imuRoll, imuPitch, imuYaw);
        // cout << "IMU roll pitch yaw: " << endl;
        // cout << "roll: " << imuRoll << ", pitch: " << imuPitch << ", yaw: " << imuYaw << endl << endl;
    }
    /**
     * @brief 接收预积分节点的数据("odometry/imu_incremental"消息名称)
     * 存放到队列odomQueue中
     * @param odometryMsg 
     */
    void odometryHandler(const nav_msgs::Odometry::ConstPtr& odometryMsg)
    {
        std::lock_guard<std::mutex> lock2(odoLock);
        odomQueue.push_back(*odometryMsg);
    }

处理点云数据

  • 接收激光点云数据并处理
 /**
     * @brief 接收点云数据,并处理(主要的处理在这里)
     * 1、缓存点云,检测点云消息中的相关属性是否齐全
     * 2、准备去除点云运动畸变所需要的IMU原始数据(旋转),IMU里程计数据(平移)
     * 3、投影点云到一个”距离平面“,计算行号列号,去除点云运动畸变,
     * 4、提取点,记录各种属性(如点云的起始索引与终止索引,列号),整理点云信息集合
     * 5、发布lio_sam/deskew/cloud_deskewed与lio_sam/deskew/cloud_info消息
     * @param laserCloudMsg 
     */
    void cloudHandler(const sensor_msgs::PointCloud2ConstPtr& laserCloudMsg)
    {   
        // 判断是否缓存够了足够多的点云  
        // 检测点云消息中的数据是否有序排列,是否有扫描线号,扫描点的时间等属性
        if (!cachePointCloud(laserCloudMsg))
            return;
        // 点云去畸变信息采集
        if (!deskewInfo())
            return;
        // 投影点到rangeMat变量中,并将点存放在fullcloud变量中
        projectPointCloud();
        cloudExtraction();
        publishClouds();
        resetParameters();
    }
  • cachePointCloud函数,缓存点云,判断点云数据中的属性是否合格
    /**
     * @brief 缓存点云
     * 1、缓存laserCloudMsg消息数据到cloudQueue队列中
     * 2、保证队列中至少有两帧点云数据,读取其中时间最早的点云
     * 3、确保点云中没有无效点,点云信息中包含线号、每个点的时间戳。
     * @param laserCloudMsg 
     * @return true 
     * @return false 
     */
    bool cachePointCloud(const sensor_msgs::PointCloud2ConstPtr& laserCloudMsg)
    {
        // cache point cloud
        // 点云数据保存进队列
        cloudQueue.push_back(*laserCloudMsg);
        // 确保队列里大于两帧点云数据
        if (cloudQueue.size() <= 2)
            return false;
        // 缓存了足够多的点云之后,取出队列中时间最早的一帧数据
        // convert cloud
        currentCloudMsg = std::move(cloudQueue.front());
        cloudQueue.pop_front();
        if (sensor == SensorType::VELODYNE)
        {
            // fromROSMsg: 标准版本执行对数据的深复制。
            // moveFromROSMsg: 而move 版本执行浅复制并注销源数据容器。这称为“移动语义”
            pcl::moveFromROSMsg(currentCloudMsg, *laserCloudIn);    // 转成pcl的点云格式
        }
        else if (sensor == SensorType::OUSTER)
        {
            // Convert to Velodyne format
            // ouster转换为velodyne点云格式
            // fromROSMsg: 标准版本执行对数据的深复制。
            // moveFromROSMsg: 而move 版本执行浅复制并注销源数据容器。这称为“移动语义”
            pcl::moveFromROSMsg(currentCloudMsg, *tmpOusterCloudIn);
            laserCloudIn->points.resize(tmpOusterCloudIn->size());
            laserCloudIn->is_dense = tmpOusterCloudIn->is_dense;
            for (size_t i = 0; i < tmpOusterCloudIn->size(); i++)
            {
                auto &src = tmpOusterCloudIn->points[i];
                auto &dst = laserCloudIn->points[i];
                dst.x = src.x;
                dst.y = src.y;
                dst.z = src.z;
                dst.intensity = src.intensity;
                dst.ring = src.ring;
                dst.time = src.t * 1e-9f;
            }
        }
        else
        {
            ROS_ERROR_STREAM("Unknown sensor type: " << int(sensor));
            ros::shutdown();
        }
        // get timestamp  起始时间是文件头的时间戳,终止时间是最后一个点的时间
        // timeScanCur:当前扫描的起始时间  timeScanEnd:当前扫描的终止时间
        cloudHeader = currentCloudMsg.header;
        timeScanCur = cloudHeader.stamp.toSec();
        timeScanEnd = timeScanCur + laserCloudIn->points.back().time;
        // check dense flag
        // is_dense是点云是否有序排列的标志
        if (laserCloudIn->is_dense == false)
        {
            ROS_ERROR("Point cloud is not in dense format, please remove NaN points first!");
            ros::shutdown();
        }
        // check ring channel
        // 查看驱动里是否把每个点属于哪一根扫描scan这个信息
        static int ringFlag = 0;
        if (ringFlag == 0)
        {
            ringFlag = -1;
            // 查看点云消息中是否有ring这个属性
            for (int i = 0; i < (int)currentCloudMsg.fields.size(); ++i)
            {
                if (currentCloudMsg.fields[i].name == "ring")
                {
                    ringFlag = 1;
                    break;
                }
            }
            // 如果没有这个信息就需要像loam或者lego loam那样手动计算scan id,现在velodyne的驱动里都会携带这些信息的
            if (ringFlag == -1)
            {
                ROS_ERROR("Point cloud ring channel not available, please configure your point cloud data!");
                ros::shutdown();
            }
        }
        // check point time
        // 同样,检查是否有时间戳信息
        if (deskewFlag == 0)
        {
            deskewFlag = -1;
            for (auto &field : currentCloudMsg.fields)
            {      
                // 检查点云消息中是否有time或者t这个属性
                if (field.name == "time" || field.name == "t")
                {
                    deskewFlag = 1;
                    break;
                }
            }
            if (deskewFlag == -1)
                ROS_WARN("Point cloud timestamp not available, deskew function disabled, system will drift significantly!");
        }
        return true;
    }
  • 收集去除点云畸变所需信息
    包括IMU数据中的陀螺仪测量值(三个轴的旋转数据),以及IMU里程计数据(用于平移,实际并没有使用
/**
     * @brief 获取点云运动补偿所需的信息
     * 1、确保IMU队列中的数据能够覆盖当前帧点云数据时间
     * 2、准备IMU原始数据("/imu/data")去畸变的信息(角度)
     * 3、准备IMU里程计数据("odometry/imu_incremental")去畸变信息(平移量,实际中未使用)
     * @return true 
     * @return false 
     */
    bool deskewInfo()
    {
        std::lock_guard<std::mutex> lock1(imuLock);
        std::lock_guard<std::mutex> lock2(odoLock);
        // make sure IMU data available for the scan
        // 确保imu的数据覆盖这一帧的点云
        if (imuQueue.empty() || imuQueue.front().header.stamp.toSec() > timeScanCur || imuQueue.back().header.stamp.toSec() < timeScanEnd)
        {
            ROS_DEBUG("Waiting for IMU data ...");
            return false;
        }
        // 准备imu补偿的信息("/imu/data"数据)
        imuDeskewInfo();
        // 准备IMU里程计畸变补偿信息("odometry/imu_incremental"数据)
        odomDeskewInfo();
        return true;
    }
    /**
     * @brief imu去除畸变信息整理
     * 1、去除IMU队列中过早的数据
     * 2、遍历剩余的IMU数据,取出最接近激光点云起始时刻的磁力计测量角度作为初始姿态
     * 3、累计 IMU角速度×时间,作为每一时刻的角度,去除点云运动畸变。
     */
    void imuDeskewInfo()
    {
        cloudInfo.imuAvailable = false;
        // 当队列中非空,弹出过早的IMU数据
        while (!imuQueue.empty())
        {
            if (imuQueue.front().header.stamp.toSec() < timeScanCur - 0.01) // 把过早的imu扔掉
                imuQueue.pop_front();
            else
                break;
        }
        if (imuQueue.empty())
            return;
        imuPointerCur = 0;
        // 遍历所有的imu数据
        for (int i = 0; i < (int)imuQueue.size(); ++i)
        {
            sensor_msgs::Imu thisImuMsg = imuQueue[i];
            double currentImuTime = thisImuMsg.header.stamp.toSec();
            // get roll, pitch, and yaw estimation for this scan
            // 从最靠近当前激光点云起始时间的IMU数据中获取起始的朝向
            if (currentImuTime <= timeScanCur)
                // 把imu磁力计获取的姿态数据转成欧拉角
                imuRPY2rosRPY(&thisImuMsg, &cloudInfo.imuRollInit, &cloudInfo.imuPitchInit, &cloudInfo.imuYawInit);
            // IMU时间超出最后一个点时间0.01秒
            if (currentImuTime > timeScanEnd + 0.01)    // 这一帧遍历完了就break
                break;
            // 用于去除运动畸变的IMU数量为0
            if (imuPointerCur == 0){    // 起始帧
                imuRotX[0] = 0;
                imuRotY[0] = 0;
                imuRotZ[0] = 0;
                imuTime[0] = currentImuTime;
                ++imuPointerCur;
                continue;
            }
            // get angular velocity
            double angular_x, angular_y, angular_z;
            // 取出当前帧的角速度
            imuAngular2rosAngular(&thisImuMsg, &angular_x, &angular_y, &angular_z);
            // integrate rotation
            double timeDiff = currentImuTime - imuTime[imuPointerCur-1];
            // 时间太短,角度可以直接累加?
            // 计算每一个时刻的姿态角,方便后续查找对应每个点云时间的值
            imuRotX[imuPointerCur] = imuRotX[imuPointerCur-1] + angular_x * timeDiff;
            imuRotY[imuPointerCur] = imuRotY[imuPointerCur-1] + angular_y * timeDiff;
            imuRotZ[imuPointerCur] = imuRotZ[imuPointerCur-1] + angular_z * timeDiff;
            imuTime[imuPointerCur] = currentImuTime;
            ++imuPointerCur;
        }
        --imuPointerCur;
        // 没有用于点云去除运动畸变的IMU数据,直接返回
        if (imuPointerCur <= 0)
            return;
        // 可以使用imu数据进行运动补偿,标志为true
        cloudInfo.imuAvailable = true;
    }
    /**
     * @brief IMU里程计去除畸变信息
     * 1、去除过早的IMU里程计数据,并确保IMU里程计数据能够覆盖一帧激光点云
     * 2、找到激光点云最早时刻的对应IMU里程计位姿,作为cloudInfo中的initialGuess数据。之后转换成Affine3格式。
     * 3、找到激光点云最晚时刻的对应IMU里程计位姿,转换为Affine3格式。
     * 4、计算起始与终止时刻之间的差值,找到两个时刻之间的相对平移量odomIncreX/Y/Z。
     */
    void odomDeskewInfo()
    {
        cloudInfo.odomAvailable = false;
        // 里程计队列非空,丢掉过早的里程计数据
        while (!odomQueue.empty())
        {
            // 扔掉过早的数据
            if (odomQueue.front().header.stamp.toSec() < timeScanCur - 0.01)
                odomQueue.pop_front();
            else
                break;
        }
        // 非空
        if (odomQueue.empty())
            return;
        // 点云时间   ×××××××
        // odom时间     ×××××
        // 显然不能覆盖整个点云的时间
        if (odomQueue.front().header.stamp.toSec() > timeScanCur)
            return;
        // get start odometry at the beinning of the scan
        nav_msgs::Odometry startOdomMsg;
        // 遍历里程计队列,找到对应的最早的点云时间的odom数据,即时间差异最小
        for (int i = 0; i < (int)odomQueue.size(); ++i)
        {
            startOdomMsg = odomQueue[i];
            if (ROS_TIME(&startOdomMsg) < timeScanCur)
                continue;
            else
                break;
        }
        // 将ros消息格式中的姿态转成tf的格式
        tf::Quaternion orientation;
        tf::quaternionMsgToTF(startOdomMsg.pose.pose.orientation, orientation);
        // 然后将四元数转成欧拉角
        double roll, pitch, yaw;
        tf::Matrix3x3(orientation).getRPY(roll, pitch, yaw);
        // 记录点云起始时刻的对应的odom姿态,作为位姿的初值
        // Initial guess used in mapOptimization
        cloudInfo.initialGuessX = startOdomMsg.pose.pose.position.x;
        cloudInfo.initialGuessY = startOdomMsg.pose.pose.position.y;
        cloudInfo.initialGuessZ = startOdomMsg.pose.pose.position.z;
        cloudInfo.initialGuessRoll  = roll;
        cloudInfo.initialGuessPitch = pitch;
        cloudInfo.initialGuessYaw   = yaw;
        cloudInfo.odomAvailable = true; // odom提供了这一帧点云的初始位姿
        // get end odometry at the end of the scan
        odomDeskewFlag = false;
        // 这里发现没有覆盖到最后的点云,那就不能用odom数据来做运动补偿
        if (odomQueue.back().header.stamp.toSec() < timeScanEnd)
            return;
        nav_msgs::Odometry endOdomMsg;
        // 找到点云最晚时间对应的odom数据(距离当前帧点云结束时间最近的里程计数据)
        for (int i = 0; i < (int)odomQueue.size(); ++i)
        {
            endOdomMsg = odomQueue[i];
            if (ROS_TIME(&endOdomMsg) < timeScanEnd)
                continue;
            else
                break;
        }
        // 这个代表odom退化了,就置信度不高了
        if (int(round(startOdomMsg.pose.covariance[0])) != int(round(endOdomMsg.pose.covariance[0])))
            return;
        // 起始位姿和结束位姿都转成Affine3f这个数据结构
        // 激光点云起始时刻的位姿
        Eigen::Affine3f transBegin = pcl::getTransformation(startOdomMsg.pose.pose.position.x, startOdomMsg.pose.pose.position.y, startOdomMsg.pose.pose.position.z, roll, pitch, yaw);
        // nav_msgs::Odometry转换为tf
        tf::quaternionMsgToTF(endOdomMsg.pose.pose.orientation, orientation);
        tf::Matrix3x3(orientation).getRPY(roll, pitch, yaw);
        // 激光点云结束时刻的位姿
        Eigen::Affine3f transEnd = pcl::getTransformation(endOdomMsg.pose.pose.position.x, endOdomMsg.pose.pose.position.y, endOdomMsg.pose.pose.position.z, roll, pitch, yaw);
        // 计算起始位姿和结束位姿之间的delta pose
        Eigen::Affine3f transBt = transBegin.inverse() * transEnd;
        // 将这个增量转成xyz和欧拉角的形式
        float rollIncre, pitchIncre, yawIncre;
        pcl::getTranslationAndEulerAngles(transBt, odomIncreX, odomIncreY, odomIncreZ, rollIncre, pitchIncre, yawIncre);
        odomDeskewFlag = true;  // 表示可以用odom来做运动补偿
    }
  • 找到当前点对应的旋转与平移量,并去除点云畸变
/**
     * @brief 找到当前激光点对应的旋转
     * 1、找到当前激光点对应的IMU数据(前后各一个)
     * 2、插值,得到当前激光点时刻对应的旋转变换
     * @param pointTime 
     * @param rotXCur 
     * @param rotYCur 
     * @param rotZCur 
     */
    void findRotation(double pointTime, float *rotXCur, float *rotYCur, float *rotZCur)
    {
        *rotXCur = 0; *rotYCur = 0; *rotZCur = 0;
        int imuPointerFront = 0;
        // imuPointerCur是imu计算的旋转buffer的总共大小,这里用的就是一种朴素的确保不越界的方法
        while (imuPointerFront < imuPointerCur)
        {   
            // 寻找imuPointerFront,使得其对应的imu时间大于当前点
            if (pointTime < imuTime[imuPointerFront])
                break;
            ++imuPointerFront;
        }
        // imuPointerBack     imuPointerFront
        //    ×                      ×
        //               ×
        //           pointTime
        // 如果当前激光点的时间戳不在两个imu的旋转之间(没有找到对应的IMU),就直接赋值了
        if (pointTime > imuTime[imuPointerFront] || imuPointerFront == 0)
        {
            *rotXCur = imuRotX[imuPointerFront];
            *rotYCur = imuRotY[imuPointerFront];
            *rotZCur = imuRotZ[imuPointerFront];
        } else {
            // 否则 做一个线性插值,得到相对旋转
            int imuPointerBack = imuPointerFront - 1;
            double ratioFront = (pointTime - imuTime[imuPointerBack]) / (imuTime[imuPointerFront] - imuTime[imuPointerBack]);
            double ratioBack = (imuTime[imuPointerFront] - pointTime) / (imuTime[imuPointerFront] - imuTime[imuPointerBack]);
            *rotXCur = imuRotX[imuPointerFront] * ratioFront + imuRotX[imuPointerBack] * ratioBack;
            *rotYCur = imuRotY[imuPointerFront] * ratioFront + imuRotY[imuPointerBack] * ratioBack;
            *rotZCur = imuRotZ[imuPointerFront] * ratioFront + imuRotZ[imuPointerBack] * ratioBack;
        }
    }
    /**
     * @brief 找到当前激光点对应的平移量
     * 使用IMU里程计数据中的平移量,按比例插值
     * 注意:此处并没有使用平移量(作者说运动相对较慢的情况去除平移畸变对效果提升不大)
     * 三个量均为0
     * @param relTime 
     * @param posXCur 
     * @param posYCur 
     * @param posZCur 
     */
    void findPosition(double relTime, float *posXCur, float *posYCur, float *posZCur)
    {
        *posXCur = 0; *posYCur = 0; *posZCur = 0;
        // If the sensor moves relatively slow, like walking speed, positional deskew seems to have little benefits. Thus code below is commented.
        // if (cloudInfo.odomAvailable == false || odomDeskewFlag == false)
        //     return;
        // float ratio = relTime / (timeScanEnd - timeScanCur);
        // *posXCur = ratio * odomIncreX;
        // *posYCur = ratio * odomIncreY;
        // *posZCur = ratio * odomIncreZ;
    }
  /**
     * @brief 点云去畸变 (针对每一个点进行处理)
     * 1、判断激光点是否有独立的时间戳,是否有用于去除运动畸变的IMU信息
     * 2、找到当前激光点对应的旋转量与平移量,计算起始点到当前点的相对旋转与相对平移
     * 3、坐标转换,去除运动畸变
     * @param point 
     * @param relTime 
     * @return PointType 
     */
    PointType deskewPoint(PointType *point, double relTime)
    {
        // 每个点是否有单独的时间戳,或者是否有用于去畸变的IMU信息
        if (deskewFlag == -1 || cloudInfo.imuAvailable == false)
            return *point;
        // relTime是相对时间,加上起始时间就是绝对时间
        // timeScanCur是帧的起始时间,relTime是该点的相对起始的时间
        double pointTime = timeScanCur + relTime;
        float rotXCur, rotYCur, rotZCur;
        // 计算当前点相对起始点的相对旋转
        findRotation(pointTime, &rotXCur, &rotYCur, &rotZCur);
        // 这里没有计算平移补偿,直接被赋值为0
        float posXCur, posYCur, posZCur;
        findPosition(relTime, &posXCur, &posYCur, &posZCur);
        // 是否为第一个点
        if (firstPointFlag == true)
        {
            // 计算第一个点的相对位姿 取逆
            transStartInverse = (pcl::getTransformation(posXCur, posYCur, posZCur, rotXCur, rotYCur, rotZCur)).inverse();
            firstPointFlag = false;
        }
        // 计算当前点和第一个点的相对位姿
        // transform points to start
        Eigen::Affine3f transFinal = pcl::getTransformation(posXCur, posYCur, posZCur, rotXCur, rotYCur, rotZCur);
        Eigen::Affine3f transBt = transStartInverse * transFinal;
        PointType newPoint;
        // 就是R × p + t,把点补偿到第一个点对应时刻的位姿   (把点转换到当前帧第一个点对应的时刻)
        newPoint.x = transBt(0,0) * point->x + transBt(0,1) * point->y + transBt(0,2) * point->z + transBt(0,3);
        newPoint.y = transBt(1,0) * point->x + transBt(1,1) * point->y + transBt(1,2) * point->z + transBt(1,3);
        newPoint.z = transBt(2,0) * point->x + transBt(2,1) * point->y + transBt(2,2) * point->z + transBt(2,3);
        newPoint.intensity = point->intensity;
        return newPoint;
    }
  • 点云投影
    /**
     * @brief 投影点云到一个平面上(大小为线数×每圈的点云数)
     * 1、遍历每一个点,去除点云中距离过小(1m)以及过大(1000m)的点
     * 2、计算该点在平面上的行号(线号)与列号(从x负方向起始),并把该点的距离添加到平面中的相应位置
     * 3、点云去畸变,计算索引,添加到fullCloud变量中
     */
    void projectPointCloud()
    {
        int cloudSize = laserCloudIn->points.size();
        // range image projection  投影为距离图像
        for (int i = 0; i < cloudSize; ++i)
        {
            PointType thisPoint;
            // 取出对应的某个点
            thisPoint.x = laserCloudIn->points[i].x;
            thisPoint.y = laserCloudIn->points[i].y;
            thisPoint.z = laserCloudIn->points[i].z;
            thisPoint.intensity = laserCloudIn->points[i].intensity;
            // 计算这个点距离lidar中心的距离
            float range = pointDistance(thisPoint);
            // 距离太小或者太远都认为是异常点
            if (range < lidarMinRange || range > lidarMaxRange)
                continue;
            // 取出对应的在第几根scan上
            int rowIdn = laserCloudIn->points[i].ring;
            // scan id必须合理
            if (rowIdn < 0 || rowIdn >= N_SCAN)
                continue;
            // 如果需要降采样,就根据scan id适当跳过
            if (rowIdn % downsampleRate != 0)
                continue;
            // 计算水平角  弧度转换为角度
            float horizonAngle = atan2(thisPoint.x, thisPoint.y) * 180 / M_PI;
            // 角度分辨率(默认设置的一圈是1800点,分辨率0.18°)
            static float ang_res_x = 360.0/float(Horizon_SCAN);
            // 计算水平线束id,转换到x负方向e为起始,顺时针为正方向,范围[0,H]
            //                x|
            //                 |
            //                 |
            //      -----------|----------y             
            //                 |
            //                 | 从此位置开始,列索引的值为零
            int columnIdn = -round((horizonAngle-90.0)/ang_res_x) + Horizon_SCAN/2;
            if (columnIdn >= Horizon_SCAN)
                columnIdn -= Horizon_SCAN;
            // 对水平id进行检查
            if (columnIdn < 0 || columnIdn >= Horizon_SCAN)
                continue;
            // 如果这个位置已经有填充了就跳过
            if (rangeMat.at<float>(rowIdn, columnIdn) != FLT_MAX)
                continue;
            // 对点做运动补偿
            thisPoint = deskewPoint(&thisPoint, laserCloudIn->points[i].time);
            // 将这个点的距离数据保存进这个range矩阵中
            rangeMat.at<float>(rowIdn, columnIdn) = range;
            // 算出这个点的索引
            int index = columnIdn + rowIdn * Horizon_SCAN;
            // 保存这个点的坐标
            fullCloud->points[index] = thisPoint;
        }
    }
  • 提取有效点,并整理为cloud_info消息类型,发布
/**
     * @brief 提取出有效的点的信息放在cloudInfo中,并提取点到extractedCloud中
     * 1、记录点云数据中每一行的起始索引与终止索引
     * 2、记录距离点云的列号与距离
     * 3、提取有效点到extractedCloud变量中
     */
    void cloudExtraction()
    {
        int count = 0;
        // extract segmented cloud for lidar odometry
        // 遍历每一根scan
        for (int i = 0; i < N_SCAN; ++i)
        {
            // 这个scan可以计算曲率的起始点(计算曲率需要左右各五个点)
            cloudInfo.startRingIndex[i] = count - 1 + 5;
            for (int j = 0; j < Horizon_SCAN; ++j)
            {   
                // 如果ij处的距离图像中有点
                if (rangeMat.at<float>(i,j) != FLT_MAX)
                {
                    // 这是一个有用的点
                    // mark the points' column index for marking occlusion later
                    // 这个点对应着哪一根垂直线
                    cloudInfo.pointColInd[count] = j;
                    // save range info
                    // 他的距离信息
                    cloudInfo.pointRange[count] = rangeMat.at<float>(i,j);
                    // save extracted cloud
                    // 他的3d坐标信息
                    extractedCloud->push_back(fullCloud->points[j + i*Horizon_SCAN]);
                    // size of extracted cloud
                    // count只在有效点才会累加
                    ++count;
                }
            }
            // 这个scan可以计算曲率的终点
            cloudInfo.endRingIndex[i] = count -1 - 5;
        }
    }
    /**
     * @brief 发布消息
     * 1、发布提取出的有效点云"lio_sam/deskew/cloud_deskewed"
     * 2、发布自定义的点云信息集合"lio_sam/deskew/cloud_info"
     */
    void publishClouds()
    {
        cloudInfo.header = cloudHeader;
        // 发布提取出来的有效的点  并把sensor_msgs/PointCloud2这个类型的消息给cloudInfo.cloud_deskewed
        // "lio_sam/deskew/cloud_deskewed"
        cloudInfo.cloud_deskewed  = publishCloud(&pubExtractedCloud, extractedCloud, cloudHeader.stamp, lidarFrame);
        // 发布cloudInfo  "lio_sam/deskew/cloud_info"
        pubLaserCloudInfo.publish(cloudInfo);
    }

Main函数

  • Main函数,调用前述定义的ImageProjection 类,并执行。
int main(int argc, char** argv)
{
    ros::init(argc, argv, "lio_sam");
    /**
     * @brief 主要作用
     * 接收IMU原始数据imuTopic,预积分节点odomTopic+"_incremental"数据,原始点云数据pointCloudTopic
     * 利用IMU原始数据,对点云进行运动畸变去除处理,odomTopic+"_incremental"数据在这里没有使用
     * 投影点云到一个距离图像上,并计算cloudInfo的相关信息
     * 
     * 提取其中的有效点,发布lio_sam/deskew/cloud_deskewed。
     * 集合一个cloudInfo,发布lio_sam/deskew/cloud_info。
     */
    ImageProjection IP;
    ROS_INFO("\033[1;32m----> Image Projection Started.\033[0m");
    // 单线程顺序执行,不能保证时效性
    // ROS多线程,三个subscriber,设置三个线程,防止丢失数据
    ros::MultiThreadedSpinner spinner(3);
    spinner.spin();
    return 0;
}
相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云资源编排ROS使用教程
资源编排(Resource Orchestration)是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、配置等,并自动完成所有资源的创建和配置,以达到自动化部署、运维等目的。编排模板同时也是一种标准化的资源和应用交付方式,并且可以随时编辑修改,使基础设施即代码(Infrastructure as Code)成为可能。 产品详情:https://www.aliyun.com/product/ros/
目录
相关文章
|
6月前
|
编解码 计算机视觉 异构计算
【CV大模型SAM(Segment-Anything)】如何一键分割图片中所有对象?并对不同分割对象进行保存?
【CV大模型SAM(Segment-Anything)】如何一键分割图片中所有对象?并对不同分割对象进行保存?
|
2月前
|
机器学习/深度学习 JSON 数据可视化
YOLO11-pose关键点检测:训练实战篇 | 自己数据集从labelme标注到生成yolo格式的关键点数据以及训练教程
本文介绍了如何将个人数据集转换为YOLO11-pose所需的数据格式,并详细讲解了手部关键点检测的训练过程。内容涵盖数据集标注、格式转换、配置文件修改及训练参数设置,最终展示了训练结果和预测效果。适用于需要进行关键点检测的研究人员和开发者。
498 0
|
4月前
|
机器学习/深度学习 Python
图像预处理
【8月更文挑战第4天】图像预处理。
49 9
|
4月前
|
Python
从bag包中提取图片和点云数据为pcd格式点云文件
从bag包中提取图片和点云数据为pcd格式点云文件
253 0
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【CV大模型SAM(Segment-Anything)】真是太强大了,分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标
【CV大模型SAM(Segment-Anything)】真是太强大了,分割一切的SAM大模型使用方法:可通过不同的提示得到想要的分割目标
|
机器学习/深度学习 数据可视化 PyTorch
YOLOv5源码逐行超详细注释与解读(2)——推理部分detect.py
YOLOv5源码逐行超详细注释与解读(2)——推理部分detect.py
1984 1
|
PyTorch Serverless 算法框架/工具
YOLOv5源码逐行超详细注释与解读(6)——网络结构(1)yolo.py
YOLOv5源码逐行超详细注释与解读(6)——网络结构(1)yolo.py
2629 0
|
人工智能 并行计算 数据可视化
分割一切还不够,还要检测一切、生成一切,SAM二创开始了
分割一切还不够,还要检测一切、生成一切,SAM二创开始了
336 0
|
Python
YOLOv5的Tricks | 【Trick13】YOLOv5的detect.py脚本的解析与简化
YOLOv5的Tricks | 【Trick13】YOLOv5的detect.py脚本的解析与简化
1509 0
YOLOv5的Tricks | 【Trick13】YOLOv5的detect.py脚本的解析与简化
|
数据处理
LIO-SAM代码逐行解读(3)-特征点提取
LIO-SAM代码逐行解读(3)-特征点提取
295 0