使用 EMQX Cloud 桥接数据到 GCP Pub/Sub

简介: EMQX Cloud新增的GCP Pub/Sub 数据桥接支持,可以帮助用户轻松无缝连接之前在GCP其他数据服务中创建的物联网应用,快速完成迁移且不影响现有业务。

前不久,Google 宣布其旗下的 GCP IoT Core 即将在 2023 年 8 月 16 日停止提供服务。这意味着大量使用 GCP IoT Core 的用户可能需要将他们的 IoT 应用迁移到其他物联网云服务。除了云服务的迁移,很多用户也在直接利用谷歌云生态,使用 GCP 上丰富的数据服务来处理物联网数据。

作为和 GCP IoT Core 一样基于 MQTT 的全托管消息云服务,EMQX Cloud 支持部署在 GCP 多个区域,是替代 IoT Core 的理想选择。此外,EMQX Cloud 新增的 GCP Pub/Sub 数据桥接支持,可以帮助用户轻松无缝连接之前在 GCP 其他数据服务中创建的物联网应用,快速完成迁移且不影响现有业务。

GCP Pub/Sub 介绍

GCP Pub/Sub 是 Google Cloud Platform (GCP) 中的一项消息传递服务,可以让用户在应用程序之间进行实时数据流传递。它提供了丰富的 API,用户可通过各种语言对消息进行发布和订阅。此外,GCP Pub/Sub 还提供了丰富的数据处理工具,帮助用户对接收到的消息进行复杂的处理和分析。

充分利用 GCP 的大数据能力

GCP Pub/Sub 提供了丰富的数据处理服务,EMQX Cloud 支持数据桥接到 GCP Pub/Sub 后,用户就可以利用 GCP 的大数据分析能力,对物联网设备的数据进行更深入的分析,为物联网应用提供更为丰富的信息支持。同时,之前使用 GCP IoT Core 的用户,很有可能已经在 GCP 的数据处理服务中建立了完整的应用,那么此时更换云平台,只需建立数据连接,就可以使用之前创建的服务。

更强的数据处理能力

GCP Pub/Sub 提供了丰富的 API,用户可以通过编程方式对数据进行更精细的控制,实现更复杂的数据处理。

为出海用户提供更多便利

使用 EMQX Cloud,您可以得到最高 7*24 来自 EMQX Cloud 技术支持工程师的帮助,相较于和 GCP 海外的工作人员使用邮件沟通,效率会大大提升。并且 EMQX Cloud 提供了丰富的帮助文档和教学视频,助您轻松上手使用。

支持数据桥接到 GCP pub/sub 后,EMQX Cloud 可以为用户提供更为丰富的数据集成能力,让物联网应用更好地与 GCP 平台集成,为之前使用 GCP IoT Core 相关服务的物联网出海用户提供了极大的便利。

更多关于 Pub/Sub 的信息及使用方式,可以参考:用于应用和数据集成的 Pub/Sub | Google Cloud

如何使用数据集成功能桥接数据到 GCP Pub/Sub

如您需要使用 GCP Pub/Sub 服务,请访问 EMQX Cloud 海外站点注册账号使用,并且推荐您选择 GCP 平台创建部署。

创建 GCP 平台的专业版部署

创建 GCP 平台的专业版部署 图1.png

选择云平台为 GCP,并按需选择规格,创建部署。

配置 GCP Pub/Sub

访问 GCP Pub/Sub 控制台,创建一个新的 topic。在此我们设置 Topic ID 为 my-topic。

配置 GCP Pub Sub 图2.png

配置数据集成桥接数据到 GCP Pub/Sub

1.访问 EMQX Cloud 控制台,在 Data Integration 页面中选择 GCP PubSub。

EMQX Cloud 控制台 图3.png

2.填写 Service Account JSON 和其他信息,并测试是否资源可用。

您可以在 GCP 控制台中,通过如下操作创建 Service Account JSON

选择 appropriate project - IAM & Admin - Service Accounts - Email, 点击 KEYS,生成一个用于身份验证的 JSON 文件。

填写 Service Account JSON 和其他信息 图4.png

3.编写 SQL 规则并添加相关动作。

在此提供一段示例,您可以使用以下 SQL 语句创建新规则

SELECT 
timestamp as up_timestamp, 
clientid as client_id, 
payload.temp as temp,
payload.hum as hum
FROM
"temp_hum/emqx"

编写 SQL 规则并添加相关动作 图5.png

测试规则是否成立。填写测试用 payload、topic 和 client 信息,点击 SQL Test 进行测试。

测试规则是否成立 图6.png

添加动作。在此我们使用上述创建的 GCP Pub/Sub topic 和信息模版。

# GCP Pub/Sub message template 
{"up_timestamp": ${up_timestamp}, "client_id": ${client_id}, "temp": ${temp}, "hum": ${hum}}

7.png

将动作绑定到规则上后,点击 View details 可查看刚才创建的 SQL 语句规则和动作。

将动作绑定到规则上 图7.png

4.使用 MQTT X 进行消息收发测试。

您需要替换 broker.emqx.io 为您创建的部署的连接地址(可以在 Deployment Overview 页面找到),并添加设备认证信息。

测试结果如下,您也可以在 EMQX Cloud 控制台和 GCP 控制台看到相应的消息处理和数据转发情况。

MQTT 桌面客户端 图8.png

在 EMQX Cloud 创建规则的监控页面看到数据转发成功。

在 EMQX Cloud 创建规则的监控页面看到数据转发成功 图9.png

在 GCP Pub/Sub 控制台看到消息转发结果。
在 GCP Pub Sub 控制台看到消息转发结果 图10.png

更多操作步骤及注意点,可参考:帮助文档

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/bridge-data-to-gcp-pub-sub

目录
相关文章
|
6月前
|
存储 传感器 物联网
如何在Docker中配置Mosquitto MQTT代理,以便在容器化环境中运行和管理MQTT通信
如何在Docker中配置Mosquitto MQTT代理,以便在容器化环境中运行和管理MQTT通信
321 0
如何在Docker中配置Mosquitto MQTT代理,以便在容器化环境中运行和管理MQTT通信
|
弹性计算 IDE 安全
Alibaba Cloud Toolkit:本地应用一键部署到任何机器上
Alibaba Cloud Toolkit:本地应用一键部署到任何机器上
951 0
Alibaba Cloud Toolkit:本地应用一键部署到任何机器上
|
7月前
|
存储 SQL 监控
【EMQX】EMQX管理控制台即EMQX Dashboard简介
【EMQX】EMQX管理控制台即EMQX Dashboard简介
424 0
|
3月前
|
网络协议 物联网 Linux
WireGuard 系列文章(七):使用 WireGuard 和 Netmaker 创建 Full Mesh 网络
WireGuard 系列文章(七):使用 WireGuard 和 Netmaker 创建 Full Mesh 网络
|
5月前
|
Kubernetes 调度 容器
ACK(Alibaba Cloud Kubernetes Engine
ACK(Alibaba Cloud Kubernetes Engine)是阿里巴巴云推出的一款基于Kubernetes的容器编排平台。在ACK中,Capacity Scheduling是一种调度策略,用于在集群中分配资源,以确保高可用性和资源利用率。
51 2
|
7月前
|
存储 缓存 中间件
Nacos架构与原理 - 自研 Distro 协议 (AP分布式协议)
Nacos架构与原理 - 自研 Distro 协议 (AP分布式协议)
130 0
|
8月前
|
网络性能优化
EMQ
|
10月前
|
Kubernetes Cloud Native 物联网
在 Kubernetes 上体验 EMQX 5.0 的 MQTT over QUIC 特性
本文将介绍如何在 Kubernetes 上部署 EMQX 集群并开启 MQTT over QUIC 功能。
EMQ
100 0
在 Kubernetes 上体验 EMQX 5.0 的 MQTT over QUIC 特性
EMQ
|
11月前
|
JSON 负载均衡 物联网
使用 Terraform 在 GCP 上一键部署 EMQX MQTT Broker
本文将指导您如何设置 GCP 项目、创建服务账户、编写 Terraform 配置文件,实现在 GCP 上轻松部署 EMQX MQTT Broker。
EMQ
121 0
使用 Terraform 在 GCP 上一键部署 EMQX MQTT Broker
EMQ
|
Kubernetes 网络协议 Ubuntu
如何在 Google Cloud 上部署 EMQX 企业版
本文将指导您在GCP上部署EMQX企业版,并进行物联网消息发布订阅测试,完成GCP IoT Core服务迁移第一步。
EMQ
120 0