Robot OS网络通信MQTT实战

简介: 最近开发的机器人操作系统ROS基于Android,在里面做一些深度定制,其中运动控制与Server的交互需要双向通道,经过权衡和讨论我们最终选用MQTT作为长连接通信方案。

image.png


1. 背景


最近开发的机器人操作系统ROS基于Android,在里面做一些深度定制,其中运动控制与Server的交互需要双向通道,经过权衡和讨论我们最终选用MQTT作为长连接通信方案。


2. MQTT介绍


image.png


MQTT 的全称为 Message Queue Telemetry Transport(消息队列遥测传输协议),是ISO 标准(ISO/IEC PRF 20922)下基于客户端-服务器的消息发布/订阅传输协议,目的是为低带宽和不稳定的网络环境中的物联网设备提供可靠的网络服务。目前在Iot应用广泛,主要有以下优点:


1.简单:MQTT是一种消息队列协议,使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合,相对于其他协议,开发更简单;


2.传输更加稳定:因为是工作在TCP/IP协议上,由TCP/IP协议提供稳定的网络连接;


3.轻量级:小型传输,开销很小(固定长度的头部是 2 字节),协议交换最小化,降低网络流量;适合低带宽,数据量较小的应用;


4.易于实现:MQTT协议的服务端程序已经非常成熟,PHP,JAVA,Python,C,C#等系统语言都可以实现MQTT服务,客户端也同样丰富,eclipse开源了主流编程语言的MQTT客户端实现;


5.开放性:因为基于ISO标准,所以MQTT只提供标准,我们自己可以基于协议实现这个标准,而且可以和别的系统进行对接,加上市面上大量开放源代码,也进一步推动了MQTT的发展,百度云、阿里云、中国移动onenet等几乎所有的开放性物联网平台都支持MQTT;


总结下来就是:简单易用开放


3. MQTT协议分析


3.1 MQTT设计特点


为了满足低电量消耗和低网络带宽的需求,MQTT 协议在设计之初就包含了以下一些特点:


  1. 实现简单
  2. 提供数据传输的 QoS
  3. 轻量、占用带宽低
  4. 可传输任意类型的数据
  5. 可保持的会话(session)


3.2 MQTT协议特点


  1. 基于 TCP 协议的应用层协议;
  2. 采用 C/S 架构;
  3. 使用订阅/发布模式,将消息的发送方和接受方解耦;
  4. 提供 3 种消息的 QoS(Quality of Service): 至多一次,最少一次,只有一次;
  5. 收发消息都是异步的,发送方不需要等待接收方应答。


3.3 MQTT通信模型


MQTT 的通信是通过发布/订阅的方式来实现的,订阅和发布又是基于主题(Topic)的。发布方和订阅方不直接进行连接,而是用到了一个中间方,它们是通过这种方式来进行解耦。两端通信的主要流程如下:


  1. 发布方(Publisher)连接到Broker;
  2. 订阅方(Subscriber)连接到Broker,并订阅主题Topic1;
  3. 发布方(Publisher)发送给Broker一条消息,主题为Topic1;
  4. Broker收到了发布方的消息,发现订阅方(Subscriber)订阅了Topic1,然后将消息转发给订阅方(Subscriber);
  5. 订阅方从Broker接收该消息;


MQTT还支持离线消息,发布方在发布消息时并不需要订阅方也连接到Broker,只要订阅方之前订阅过相应主题,那么它在连接到Broker之后就可以收到发布方在它离线期间发布的消息。


3.3 MQTT协议数据包


MQTT 协议数据包的消息格式为:固定头|可变头|消息体。


  • 固定头(Fixed header):存在于所有的MQTT数据包中,用于表示数据包类型及对应标志、数据包大小等;
  • 可变头(Variable header):存在于部分类型的MQTT数据包中,具体内容是由相应类型的数据包决定的;
  • 消息体(Payload):存在于部分的MQTT数据包中,存储消息的具体数据。


具体的结构说明可以参考官方文档,这里截图两个MQTT协议传输时数据内容:


image.png

image.png


在我们了解MQTT开源源码或者自己实现MQTT协议的库时再着重研究协议具体内容。


4. MQTT开发环境搭建


4.1 搭建MQTT服务


我们可以使用mosquitto快速搭建mqtt server。在ubuntu上直接执行sudo apt-get install mosquitto,在Mac上执行sudo brew install mosquitto即可。


具体配置操作以ubuntu为例:


sudo service mosquitto status
sudo service mosquitto start
sudo service mosquitto stop


conf配置文件mosquitto.conf:


pid_file /var/run/mosquitto.pid
# 消息持久存储
persistence true
persistence_location /var/lib/mosquitto/
# 日志文件
log_dest file /var/log/mosquitto/mosquitto.log
# 其他配置
include_dir /etc/mosquitto/conf.d
# 禁止匿名访问
allow_anonymous false
# 认证配置
password_file /etc/mosquitto/pwfile
# 权限配置
acl_file /etc/mosquitto/aclfile


mosquitto -c /etc/mosquitto/mosquitto.conf -d


  • -c 指定配置文件
  • -d 表示后台启动


4.2 验证服务


安装mosquitto配套客户端文件:


sudo apt-get install mosquitto-clients


mosquitto-client包含pub和sub两个命令工具,对应参数说明:


mosquitto_pub命令参数说明:


  • -d   打印debug信息
  • -f    将指定文件的内容作为发送消息的内容
  • -h   指定要连接的域名  默认为localhost
  • -i    指定要给哪个clientId的用户发送消息
  • -I    指定给哪个clientId前缀的用户发送消息
  • -m  消息内容
  • -n   发送一个空(null)消息
  • -p   连接端口号
  • -q   指定QoS的值(0,1,2)
  • -t    指定topic
  • -u   指定broker访问用户
  • -P   指定broker访问密码
  • -V   指定MQTT协议版本
  • --will-payload   指定一个消息,该消息当客户端与broker意外断开连接时发出。该参数需要与--will-topic一起使用
  • --will-qos   Will的QoS值。该参数需要与--will-topic一起使用
  • --will-retain 指定Will消息被当做一个retain消息(即消息被广播后,该消息被保留起来)。该参数需要与--will-topic一起使用
  • --will-topic  用户发送Will消息的topic


mosquitto_sub命令参数说明:


  • -c  设定‘clean session’为无效状态,这样一直保持订阅状态,即便是已经失去连接,如果再次连接仍旧能够接收的断开期间发送的消息。
  • -d  打印debug信息
  • -h  指定要连接的域名  默认为localhost
  • -i   指定clientId
  • -I   指定clientId前缀
  • -k keepalive 每隔一段时间,发PING消息通知broker,仍处于连接状态。 默认为60秒。
  • -q   指定希望接收到QoS为什么的消息  默认QoS为0
  • -R   不显示陈旧的消息
  • -t    订阅topic
  • -v   打印消息
  • --will-payload  指定一个消息,该消息当客户端与broker意外断开连接时发出。该参数需要与--will-topic一起使用
  • --will-qos   Will的QoS值。该参数需要与--will-topic一起使用
  • --will-retain 指定Will消息被当做一个retain消息(即消息被广播后,该消息被保留起来)。该参数需要与--will-topic一起使用
  • --will-topic  用户发送Will消息的topic


示例:


mosquitto_pub -h localhost -p 1883 -t "demo/1" -m "test"
mosquitto_sub -h localhost -p 1883 -t "demo/1"


直接运行上面命令既可完成发布与订阅操作。


4.3 跑通Android平台客户端


上面是mosquitto提供的现成的PC命令工具,我们要在Android平台上跑通客户端需要用Java和C++实现一套,eclipse也提供了C++/C以及Java版本的库,我们直接编译到Android平台即可。已C库为例:


下载github.com/eclipse/pah…


make_minimum_required(VERSION 3.4.1)
set(CMAKE_INSTALL_PREFIX "${CMAKE_BINARY_DIR}" CACHE PATH "Installation directory" FORCE)
message(STATUS "CMAKE_INSTALL_PREFIX=${CMAKE_INSTALL_PREFIX}")
project(mqtt)
SET(VERSION 0.0.1)
add_definitions(-w)
#file(READ version.major PAHO_VERSION_MAJOR)
#file(READ version.minor PAHO_VERSION_MINOR)
#file(READ version.patch PAHO_VERSION_PATCH)
SET(CLIENT_VERSION ${PAHO_VERSION_MAJOR}.${PAHO_VERSION_MINOR}.${PAHO_VERSION_PATCH})
STRING(TIMESTAMP BUILD_TIMESTAMP UTC)
MESSAGE(STATUS "Timestamp is ${BUILD_TIMESTAMP}")
## build options
SET(PAHO_WITH_SSL FALSE CACHE BOOL "Flag that defines whether to build ssl-enabled binaries too. ")
SET(PAHO_BUILD_SHARED TRUE CACHE BOOL "Build shared library")
SET(PAHO_BUILD_STATIC FALSE CACHE BOOL "Build static library")
SET(PAHO_BUILD_DOCUMENTATION FALSE CACHE BOOL "Create and install the HTML based API documentation (requires Doxygen)")
SET(PAHO_BUILD_SAMPLES FALSE CACHE BOOL "Build sample programs")
SET(PAHO_BUILD_DEB_PACKAGE FALSE CACHE BOOL "Build debian package")
SET(PAHO_ENABLE_TESTING TRUE CACHE BOOL "Build tests and run")
SET(PAHO_ENABLE_CPACK TRUE CACHE BOOL "Enable CPack")
SET(PAHO_HIGH_PERFORMANCE FALSE CACHE BOOL "Disable tracing and heap tracking")
SET(PAHO_USE_SELECT FALSE CACHE BOOL "Revert to select system call instead of poll")
IF (PAHO_HIGH_PERFORMANCE)
    ADD_DEFINITIONS(-DHIGH_PERFORMANCE=1)
ENDIF()
IF (PAHO_USE_SELECT)
    ADD_DEFINITIONS(-DUSE_SELECT=1)
ENDIF()
IF (NOT PAHO_BUILD_SHARED AND NOT PAHO_BUILD_STATIC)
    MESSAGE(FATAL_ERROR "You must set either PAHO_BUILD_SHARED, PAHO_BUILD_STATIC, or both")
ENDIF()
SET(ROOT ${CMAKE_SOURCE_DIR})
SET(BUILD_PATH "${CMAKE_BINARY_DIR}")
MESSAGE(STATUS "current project name is ${PROJECTNAME}")
SET(CMAKE_BUILD_TYPE "DEBUG")
#SET(CMAKE_BUILD_TYPE "RELEASE")
set(SOURCE_DIR ${CMAKE_CURRENT_SOURCE_DIR}/src/main/cpp/paho.mqtt.c/src)
set(JNI_SOURCE_DIR ${CMAKE_CURRENT_SOURCE_DIR}/src/main/cpp)
find_library(log-lib log)
include_directories(${SOURCE_DIR})
include_directories(${JNI_SOURCE_DIR})
set(common_src
        ${SOURCE_DIR}/MQTTTime.c
        ${SOURCE_DIR}/MQTTProtocolClient.c
        ${SOURCE_DIR}/Clients.c
        ${SOURCE_DIR}/utf-8.c
        ${SOURCE_DIR}/MQTTPacket.c
        ${SOURCE_DIR}/MQTTPacketOut.c
        ${SOURCE_DIR}/Messages.c
        ${SOURCE_DIR}/Tree.c
        ${SOURCE_DIR}/Socket.c
        ${SOURCE_DIR}/Log.c
        ${SOURCE_DIR}/MQTTPersistence.c
        ${SOURCE_DIR}/Thread.c
        ${SOURCE_DIR}/MQTTProtocolOut.c
        ${SOURCE_DIR}/MQTTPersistenceDefault.c
        ${SOURCE_DIR}/SocketBuffer.c
        ${SOURCE_DIR}/LinkedList.c
        ${SOURCE_DIR}/MQTTProperties.c
        ${SOURCE_DIR}/MQTTReasonCodes.c
        ${SOURCE_DIR}/Base64.c
        ${SOURCE_DIR}/SHA1.c
        ${SOURCE_DIR}/WebSocket.c
        ${SOURCE_DIR}/Proxy.c
        ${SOURCE_DIR}/MQTTClient.c
        ${JNI_SOURCE_DIR}/JNI_OnLoad.cc
        ${JNI_SOURCE_DIR}/jni_utils.cc
        ${JNI_SOURCE_DIR}/keutil.cc
        )
IF (NOT PAHO_HIGH_PERFORMANCE)
    SET(common_src ${common_src}
            ${SOURCE_DIR}/StackTrace.c
            ${SOURCE_DIR}/Heap.c
            )
ENDIF()
SET(LIBS_SYSTEM c dl)
set(SELF_LIB_NAME kemqtt)
add_library(${SELF_LIB_NAME} SHARED ${common_src})
target_link_libraries(${SELF_LIB_NAME}
        ${log-lib}
        )


封装JNI接口进行Pub:


static jlong
_start(JNIEnv *env, jclass cls) {
    LOGI("start...");
  MQTTClient client;
  MQTTClient_connectOptions conn_opts = MQTTClient_connectOptions_initializer;
  conn_opts.username = "A1_TEST_TOKEN";
  MQTTClient_message pubmsg = MQTTClient_message_initializer;
  MQTTClient_deliveryToken token;
  int rc;
  if ((rc = MQTTClient_create(&client, ADDRESS, CLIENTID,
                MQTTCLIENT_PERSISTENCE_NONE, NULL)) != MQTTCLIENT_SUCCESS)
  {
  LOGI("Failed to create client, return code %d\n", rc);
  return -1;
  }
  conn_opts.keepAliveInterval = 20;
  conn_opts.cleansession = 1;
  if ((rc = MQTTClient_connect(client, &conn_opts)) != MQTTCLIENT_SUCCESS)
  {
  LOGI("Failed to connect, return code %d\n", rc);
  return -2;
  }
  pubmsg.payload = (void *)PAYLOAD;
  pubmsg.payloadlen = (int)strlen(PAYLOAD);
  pubmsg.qos = QOS;
  pubmsg.retained = 0;
  if ((rc = MQTTClient_publishMessage(client, TOPIC, &pubmsg, &token)) != MQTTCLIENT_SUCCESS)
  {
  LOGI("Failed to publish message, return code %d\n", rc);
  return -3;
  }
  LOGI("Waiting for up to %d seconds for publication of %s\n"
     "on topic %s for client with ClientID: %s\n",
     (int)(TIMEOUT/1000), PAYLOAD, TOPIC, CLIENTID);
  rc = MQTTClient_waitForCompletion(client, token, TIMEOUT);
  LOGI("Message with delivery token %d delivered\n", token);
  if ((rc = MQTTClient_disconnect(client, 10000)) != MQTTCLIENT_SUCCESS)
  LOGI("Failed to disconnect, return code %d\n", rc);
  MQTTClient_destroy(&client);
    return (jlong) 0;
}


这里直接改写官方demo,最开始怎么也连不上,连接错误返回-1,最后发现是测试机好久没用,没有联网了,浪费了好长时间去查代码问题;网络修复后又遇到返回错误5的问题,是因为server开启了用户验证,所以需要配置username,配置好后成功完成了发布。


5. 参考资源

1.MQTT Client各语言实现大全

2.MQTT协议报文格式解析

6. 总结


本文介绍了MQTT和MQTT协议的数据包结构,并且介绍了MQTT开发环境的搭建,都比较粗浅,后续文章深入分析MQTT协议内容以及MQTT Java和C版本代码实现细节,从代码角度分析MQTT协议的优点,并完成实现MQTT的Android版本交互以及与Protbuf的结合等。

相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
1月前
|
机器学习/深度学习 PyTorch TensorFlow
卷积神经网络深度解析:从基础原理到实战应用的完整指南
蒋星熠Jaxonic,深度学习探索者。深耕TensorFlow与PyTorch,分享框架对比、性能优化与实战经验,助力技术进阶。
|
1月前
|
监控 Linux 测试技术
C++零拷贝网络编程实战:从理论到生产环境的性能优化之路
🌟 蒋星熠Jaxonic,技术宇宙中的星际旅人。深耕C++与零拷贝网络编程,从sendfile到DPDK,实战优化服务器性能,毫秒级响应、CPU降60%。分享架构思维,共探代码星辰大海!
|
1月前
|
机器学习/深度学习 数据采集 人工智能
深度学习实战指南:从神经网络基础到模型优化的完整攻略
🌟 蒋星熠Jaxonic,AI探索者。深耕深度学习,从神经网络到Transformer,用代码践行智能革命。分享实战经验,助你构建CV、NLP模型,共赴二进制星辰大海。
|
2月前
|
机器学习/深度学习 人工智能 算法
卷积神经网络深度解析:从基础原理到实战应用的完整指南
蒋星熠Jaxonic带你深入卷积神经网络(CNN)核心技术,从生物启发到数学原理,详解ResNet、注意力机制与模型优化,探索视觉智能的演进之路。
374 11
|
2月前
|
消息中间件 Ubuntu Java
SpringBoot整合MQTT实战:基于EMQX实现双向设备通信
本教程指导在Ubuntu上部署EMQX 5.9.0并集成Spring Boot实现MQTT双向通信,涵盖服务器搭建、客户端配置及生产实践,助您快速构建企业级物联网消息系统。
1101 1
人工智能 运维 架构师
258 0
|
4月前
|
弹性计算 运维 Kubernetes
看阿里云操作系统控制台如何一招擒拿网络丢包
如何结合操作系统控制台快速定位问题?
|
4月前
|
机器学习/深度学习 人工智能 PyTorch
零基础入门CNN:聚AI卷积神经网络核心原理与工业级实战指南
卷积神经网络(CNN)通过局部感知和权值共享两大特性,成为计算机视觉的核心技术。本文详解CNN的卷积操作、架构设计、超参数调优及感受野计算,结合代码示例展示其在图像分类、目标检测等领域的应用价值。
277 7
|
4月前
|
弹性计算 运维 Kubernetes
看阿里云操作系统控制台如何一招擒拿网络丢包
阿里云操作系统控制台帮忙客户快速定位问题,不仅成功完成业务部署并实现稳定运行,更有效遏制了持续性成本消耗。
|
5月前
|
JavaScript 前端开发 开发工具
HarmonyOS NEXT实战:加载网络页面资源
本课程讲解如何在HarmonyOS SDK中使用Web组件加载网络页面,包括权限配置、页面加载及动态切换。适合教育场景下开发具备网页浏览功能的应用。
154 0

热门文章

最新文章

推荐镜像

更多
下一篇
oss云网关配置