Robot OS网络通信MQTT实战

简介: 最近开发的机器人操作系统ROS基于Android,在里面做一些深度定制,其中运动控制与Server的交互需要双向通道,经过权衡和讨论我们最终选用MQTT作为长连接通信方案。

image.png


1. 背景


最近开发的机器人操作系统ROS基于Android,在里面做一些深度定制,其中运动控制与Server的交互需要双向通道,经过权衡和讨论我们最终选用MQTT作为长连接通信方案。


2. MQTT介绍


image.png


MQTT 的全称为 Message Queue Telemetry Transport(消息队列遥测传输协议),是ISO 标准(ISO/IEC PRF 20922)下基于客户端-服务器的消息发布/订阅传输协议,目的是为低带宽和不稳定的网络环境中的物联网设备提供可靠的网络服务。目前在Iot应用广泛,主要有以下优点:


1.简单:MQTT是一种消息队列协议,使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合,相对于其他协议,开发更简单;


2.传输更加稳定:因为是工作在TCP/IP协议上,由TCP/IP协议提供稳定的网络连接;


3.轻量级:小型传输,开销很小(固定长度的头部是 2 字节),协议交换最小化,降低网络流量;适合低带宽,数据量较小的应用;


4.易于实现:MQTT协议的服务端程序已经非常成熟,PHP,JAVA,Python,C,C#等系统语言都可以实现MQTT服务,客户端也同样丰富,eclipse开源了主流编程语言的MQTT客户端实现;


5.开放性:因为基于ISO标准,所以MQTT只提供标准,我们自己可以基于协议实现这个标准,而且可以和别的系统进行对接,加上市面上大量开放源代码,也进一步推动了MQTT的发展,百度云、阿里云、中国移动onenet等几乎所有的开放性物联网平台都支持MQTT;


总结下来就是:简单易用开放


3. MQTT协议分析


3.1 MQTT设计特点


为了满足低电量消耗和低网络带宽的需求,MQTT 协议在设计之初就包含了以下一些特点:


  1. 实现简单
  2. 提供数据传输的 QoS
  3. 轻量、占用带宽低
  4. 可传输任意类型的数据
  5. 可保持的会话(session)


3.2 MQTT协议特点


  1. 基于 TCP 协议的应用层协议;
  2. 采用 C/S 架构;
  3. 使用订阅/发布模式,将消息的发送方和接受方解耦;
  4. 提供 3 种消息的 QoS(Quality of Service): 至多一次,最少一次,只有一次;
  5. 收发消息都是异步的,发送方不需要等待接收方应答。


3.3 MQTT通信模型


MQTT 的通信是通过发布/订阅的方式来实现的,订阅和发布又是基于主题(Topic)的。发布方和订阅方不直接进行连接,而是用到了一个中间方,它们是通过这种方式来进行解耦。两端通信的主要流程如下:


  1. 发布方(Publisher)连接到Broker;
  2. 订阅方(Subscriber)连接到Broker,并订阅主题Topic1;
  3. 发布方(Publisher)发送给Broker一条消息,主题为Topic1;
  4. Broker收到了发布方的消息,发现订阅方(Subscriber)订阅了Topic1,然后将消息转发给订阅方(Subscriber);
  5. 订阅方从Broker接收该消息;


MQTT还支持离线消息,发布方在发布消息时并不需要订阅方也连接到Broker,只要订阅方之前订阅过相应主题,那么它在连接到Broker之后就可以收到发布方在它离线期间发布的消息。


3.3 MQTT协议数据包


MQTT 协议数据包的消息格式为:固定头|可变头|消息体。


  • 固定头(Fixed header):存在于所有的MQTT数据包中,用于表示数据包类型及对应标志、数据包大小等;
  • 可变头(Variable header):存在于部分类型的MQTT数据包中,具体内容是由相应类型的数据包决定的;
  • 消息体(Payload):存在于部分的MQTT数据包中,存储消息的具体数据。


具体的结构说明可以参考官方文档,这里截图两个MQTT协议传输时数据内容:


image.png

image.png


在我们了解MQTT开源源码或者自己实现MQTT协议的库时再着重研究协议具体内容。


4. MQTT开发环境搭建


4.1 搭建MQTT服务


我们可以使用mosquitto快速搭建mqtt server。在ubuntu上直接执行sudo apt-get install mosquitto,在Mac上执行sudo brew install mosquitto即可。


具体配置操作以ubuntu为例:


sudo service mosquitto status
sudo service mosquitto start
sudo service mosquitto stop


conf配置文件mosquitto.conf:


pid_file /var/run/mosquitto.pid
# 消息持久存储
persistence true
persistence_location /var/lib/mosquitto/
# 日志文件
log_dest file /var/log/mosquitto/mosquitto.log
# 其他配置
include_dir /etc/mosquitto/conf.d
# 禁止匿名访问
allow_anonymous false
# 认证配置
password_file /etc/mosquitto/pwfile
# 权限配置
acl_file /etc/mosquitto/aclfile


mosquitto -c /etc/mosquitto/mosquitto.conf -d


  • -c 指定配置文件
  • -d 表示后台启动


4.2 验证服务


安装mosquitto配套客户端文件:


sudo apt-get install mosquitto-clients


mosquitto-client包含pub和sub两个命令工具,对应参数说明:


mosquitto_pub命令参数说明:


  • -d   打印debug信息
  • -f    将指定文件的内容作为发送消息的内容
  • -h   指定要连接的域名  默认为localhost
  • -i    指定要给哪个clientId的用户发送消息
  • -I    指定给哪个clientId前缀的用户发送消息
  • -m  消息内容
  • -n   发送一个空(null)消息
  • -p   连接端口号
  • -q   指定QoS的值(0,1,2)
  • -t    指定topic
  • -u   指定broker访问用户
  • -P   指定broker访问密码
  • -V   指定MQTT协议版本
  • --will-payload   指定一个消息,该消息当客户端与broker意外断开连接时发出。该参数需要与--will-topic一起使用
  • --will-qos   Will的QoS值。该参数需要与--will-topic一起使用
  • --will-retain 指定Will消息被当做一个retain消息(即消息被广播后,该消息被保留起来)。该参数需要与--will-topic一起使用
  • --will-topic  用户发送Will消息的topic


mosquitto_sub命令参数说明:


  • -c  设定‘clean session’为无效状态,这样一直保持订阅状态,即便是已经失去连接,如果再次连接仍旧能够接收的断开期间发送的消息。
  • -d  打印debug信息
  • -h  指定要连接的域名  默认为localhost
  • -i   指定clientId
  • -I   指定clientId前缀
  • -k keepalive 每隔一段时间,发PING消息通知broker,仍处于连接状态。 默认为60秒。
  • -q   指定希望接收到QoS为什么的消息  默认QoS为0
  • -R   不显示陈旧的消息
  • -t    订阅topic
  • -v   打印消息
  • --will-payload  指定一个消息,该消息当客户端与broker意外断开连接时发出。该参数需要与--will-topic一起使用
  • --will-qos   Will的QoS值。该参数需要与--will-topic一起使用
  • --will-retain 指定Will消息被当做一个retain消息(即消息被广播后,该消息被保留起来)。该参数需要与--will-topic一起使用
  • --will-topic  用户发送Will消息的topic


示例:


mosquitto_pub -h localhost -p 1883 -t "demo/1" -m "test"
mosquitto_sub -h localhost -p 1883 -t "demo/1"


直接运行上面命令既可完成发布与订阅操作。


4.3 跑通Android平台客户端


上面是mosquitto提供的现成的PC命令工具,我们要在Android平台上跑通客户端需要用Java和C++实现一套,eclipse也提供了C++/C以及Java版本的库,我们直接编译到Android平台即可。已C库为例:


下载github.com/eclipse/pah…


make_minimum_required(VERSION 3.4.1)
set(CMAKE_INSTALL_PREFIX "${CMAKE_BINARY_DIR}" CACHE PATH "Installation directory" FORCE)
message(STATUS "CMAKE_INSTALL_PREFIX=${CMAKE_INSTALL_PREFIX}")
project(mqtt)
SET(VERSION 0.0.1)
add_definitions(-w)
#file(READ version.major PAHO_VERSION_MAJOR)
#file(READ version.minor PAHO_VERSION_MINOR)
#file(READ version.patch PAHO_VERSION_PATCH)
SET(CLIENT_VERSION ${PAHO_VERSION_MAJOR}.${PAHO_VERSION_MINOR}.${PAHO_VERSION_PATCH})
STRING(TIMESTAMP BUILD_TIMESTAMP UTC)
MESSAGE(STATUS "Timestamp is ${BUILD_TIMESTAMP}")
## build options
SET(PAHO_WITH_SSL FALSE CACHE BOOL "Flag that defines whether to build ssl-enabled binaries too. ")
SET(PAHO_BUILD_SHARED TRUE CACHE BOOL "Build shared library")
SET(PAHO_BUILD_STATIC FALSE CACHE BOOL "Build static library")
SET(PAHO_BUILD_DOCUMENTATION FALSE CACHE BOOL "Create and install the HTML based API documentation (requires Doxygen)")
SET(PAHO_BUILD_SAMPLES FALSE CACHE BOOL "Build sample programs")
SET(PAHO_BUILD_DEB_PACKAGE FALSE CACHE BOOL "Build debian package")
SET(PAHO_ENABLE_TESTING TRUE CACHE BOOL "Build tests and run")
SET(PAHO_ENABLE_CPACK TRUE CACHE BOOL "Enable CPack")
SET(PAHO_HIGH_PERFORMANCE FALSE CACHE BOOL "Disable tracing and heap tracking")
SET(PAHO_USE_SELECT FALSE CACHE BOOL "Revert to select system call instead of poll")
IF (PAHO_HIGH_PERFORMANCE)
    ADD_DEFINITIONS(-DHIGH_PERFORMANCE=1)
ENDIF()
IF (PAHO_USE_SELECT)
    ADD_DEFINITIONS(-DUSE_SELECT=1)
ENDIF()
IF (NOT PAHO_BUILD_SHARED AND NOT PAHO_BUILD_STATIC)
    MESSAGE(FATAL_ERROR "You must set either PAHO_BUILD_SHARED, PAHO_BUILD_STATIC, or both")
ENDIF()
SET(ROOT ${CMAKE_SOURCE_DIR})
SET(BUILD_PATH "${CMAKE_BINARY_DIR}")
MESSAGE(STATUS "current project name is ${PROJECTNAME}")
SET(CMAKE_BUILD_TYPE "DEBUG")
#SET(CMAKE_BUILD_TYPE "RELEASE")
set(SOURCE_DIR ${CMAKE_CURRENT_SOURCE_DIR}/src/main/cpp/paho.mqtt.c/src)
set(JNI_SOURCE_DIR ${CMAKE_CURRENT_SOURCE_DIR}/src/main/cpp)
find_library(log-lib log)
include_directories(${SOURCE_DIR})
include_directories(${JNI_SOURCE_DIR})
set(common_src
        ${SOURCE_DIR}/MQTTTime.c
        ${SOURCE_DIR}/MQTTProtocolClient.c
        ${SOURCE_DIR}/Clients.c
        ${SOURCE_DIR}/utf-8.c
        ${SOURCE_DIR}/MQTTPacket.c
        ${SOURCE_DIR}/MQTTPacketOut.c
        ${SOURCE_DIR}/Messages.c
        ${SOURCE_DIR}/Tree.c
        ${SOURCE_DIR}/Socket.c
        ${SOURCE_DIR}/Log.c
        ${SOURCE_DIR}/MQTTPersistence.c
        ${SOURCE_DIR}/Thread.c
        ${SOURCE_DIR}/MQTTProtocolOut.c
        ${SOURCE_DIR}/MQTTPersistenceDefault.c
        ${SOURCE_DIR}/SocketBuffer.c
        ${SOURCE_DIR}/LinkedList.c
        ${SOURCE_DIR}/MQTTProperties.c
        ${SOURCE_DIR}/MQTTReasonCodes.c
        ${SOURCE_DIR}/Base64.c
        ${SOURCE_DIR}/SHA1.c
        ${SOURCE_DIR}/WebSocket.c
        ${SOURCE_DIR}/Proxy.c
        ${SOURCE_DIR}/MQTTClient.c
        ${JNI_SOURCE_DIR}/JNI_OnLoad.cc
        ${JNI_SOURCE_DIR}/jni_utils.cc
        ${JNI_SOURCE_DIR}/keutil.cc
        )
IF (NOT PAHO_HIGH_PERFORMANCE)
    SET(common_src ${common_src}
            ${SOURCE_DIR}/StackTrace.c
            ${SOURCE_DIR}/Heap.c
            )
ENDIF()
SET(LIBS_SYSTEM c dl)
set(SELF_LIB_NAME kemqtt)
add_library(${SELF_LIB_NAME} SHARED ${common_src})
target_link_libraries(${SELF_LIB_NAME}
        ${log-lib}
        )


封装JNI接口进行Pub:


static jlong
_start(JNIEnv *env, jclass cls) {
    LOGI("start...");
  MQTTClient client;
  MQTTClient_connectOptions conn_opts = MQTTClient_connectOptions_initializer;
  conn_opts.username = "A1_TEST_TOKEN";
  MQTTClient_message pubmsg = MQTTClient_message_initializer;
  MQTTClient_deliveryToken token;
  int rc;
  if ((rc = MQTTClient_create(&client, ADDRESS, CLIENTID,
                MQTTCLIENT_PERSISTENCE_NONE, NULL)) != MQTTCLIENT_SUCCESS)
  {
  LOGI("Failed to create client, return code %d\n", rc);
  return -1;
  }
  conn_opts.keepAliveInterval = 20;
  conn_opts.cleansession = 1;
  if ((rc = MQTTClient_connect(client, &conn_opts)) != MQTTCLIENT_SUCCESS)
  {
  LOGI("Failed to connect, return code %d\n", rc);
  return -2;
  }
  pubmsg.payload = (void *)PAYLOAD;
  pubmsg.payloadlen = (int)strlen(PAYLOAD);
  pubmsg.qos = QOS;
  pubmsg.retained = 0;
  if ((rc = MQTTClient_publishMessage(client, TOPIC, &pubmsg, &token)) != MQTTCLIENT_SUCCESS)
  {
  LOGI("Failed to publish message, return code %d\n", rc);
  return -3;
  }
  LOGI("Waiting for up to %d seconds for publication of %s\n"
     "on topic %s for client with ClientID: %s\n",
     (int)(TIMEOUT/1000), PAYLOAD, TOPIC, CLIENTID);
  rc = MQTTClient_waitForCompletion(client, token, TIMEOUT);
  LOGI("Message with delivery token %d delivered\n", token);
  if ((rc = MQTTClient_disconnect(client, 10000)) != MQTTCLIENT_SUCCESS)
  LOGI("Failed to disconnect, return code %d\n", rc);
  MQTTClient_destroy(&client);
    return (jlong) 0;
}


这里直接改写官方demo,最开始怎么也连不上,连接错误返回-1,最后发现是测试机好久没用,没有联网了,浪费了好长时间去查代码问题;网络修复后又遇到返回错误5的问题,是因为server开启了用户验证,所以需要配置username,配置好后成功完成了发布。


5. 参考资源

1.MQTT Client各语言实现大全

2.MQTT协议报文格式解析

6. 总结


本文介绍了MQTT和MQTT协议的数据包结构,并且介绍了MQTT开发环境的搭建,都比较粗浅,后续文章深入分析MQTT协议内容以及MQTT Java和C版本代码实现细节,从代码角度分析MQTT协议的优点,并完成实现MQTT的Android版本交互以及与Protbuf的结合等。

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
5天前
|
监控 安全 物联网
网络安全与信息安全:防护之道与实战策略
【4月更文挑战第23天】在数字化时代,数据成为了新的货币,而网络安全则是保护这些“货币”的金库。本文将深入探讨网络安全漏洞的概念、加密技术的进展以及提升个人和企业的安全意识的重要性。通过分析当前的威胁景观,我们分享了一系列的防御措施和最佳实践,目的是为读者提供一套全面的信息安全防护框架。
|
5天前
|
存储 前端开发 机器人
Python网络数据抓取(6):Scrapy 实战
Python网络数据抓取(6):Scrapy 实战
23 2
|
5天前
|
机器学习/深度学习 Python
【Python实战】——神经网络识别手写数字(三)
【Python实战】——神经网络识别手写数字
|
5天前
|
机器学习/深度学习 数据可视化 Python
【Python实战】——神经网络识别手写数字(二)
【Python实战】——神经网络识别手写数字(三)
|
2天前
|
网络协议 Python
Python 网络编程实战:构建高效的网络应用
【5月更文挑战第18天】Python在数字化时代成为构建网络应用的热门语言,因其简洁的语法和强大功能。本文介绍了网络编程基础知识,包括TCP和UDP套接字,强调异步编程、数据压缩和连接池的关键作用。提供了一个简单的TCP服务器和客户端代码示例,并提及优化与改进方向,鼓励读者通过实践提升网络应用性能。
19 6
|
3天前
|
存储 安全 算法
网络安全与信息安全:防护之道与实战策略
【5月更文挑战第17天】 在数字化时代,网络安全和信息安全已成为维护社会稳定、保障个人隐私和企业资产的重要屏障。本文深入探讨了网络安全漏洞的成因、加密技术的最新进展以及提升安全意识的有效方法。通过对网络攻防技术的剖析,揭示了防御策略的重要性,并提供了实用的防护措施和应对方案,旨在为读者打造一道坚固的信息安全防线。
|
3天前
|
程序员 Linux 网络安全
optee os syscall,35岁以后的网络安全程序员出路在哪里
optee os syscall,35岁以后的网络安全程序员出路在哪里
|
5天前
|
安全 算法 网络安全
网络安全与信息安全:防护之道与实战策略
【5月更文挑战第14天】在数字化时代,网络安全与信息安全的重要性不断上升。本文深入探讨了网络安全漏洞的概念、加密技术的应用以及提升安全意识的必要性。文章首先分析了常见的网络威胁和漏洞,然后介绍了现代加密技术的基本原理和实践应用。接着,文中强调了培养安全意识的重要性,并提供了一系列实用的防御措施。最后,文章总结了如何通过综合手段构建坚固的网络安全防线,为个人和企业提供指导性建议。
|
5天前
|
机器学习/深度学习 数据可视化 Python
【Python实战】——神经网络识别手写数字(一)
【Python实战】——神经网络识别手写数字
|
5天前
|
存储 SQL 安全
网络安全与信息安全:防护之道与实战策略
【5月更文挑战第8天】在数字化时代,网络安全与信息安全已成为维护网络空间主权和社会稳定的关键。本文深入探讨了网络安全漏洞的概念、加密技术的进展以及提升安全意识的必要性。通过对当前网络威胁的分析,提出了一系列针对性的防御措施和应对策略,旨在为读者提供一套全面的安全防护知识体系。