Apache IoTDB开发之同步工具

简介: 在同步的发送端,同步模块是一个单独的进程,独立于 IoTDB 进程。同步的频率周期可以由用户设置。在同步的接收端,同步模块嵌入在IoTDB的引擎中,与IoTDB处于同一过程。接收器模块侦听一个单独的端口,该端口可由用户设置(有关详细信息,请参阅部分)。在使用之前,需要在同步接收器处设置白名单,以网段表示。接收方仅接受从位于白名单段中的发送方传输的数据。

同步工具简介

同步工具是一个 IoTDB 套件工具,可定期将持久 tsfile 从发送端磁盘上传到接收方并加载它们。在同步的发送端,同步模块是一个单独的进程,独立于 IoTDB 进程。同步的频率周期可以由用户设置。在同步的接收端,同步模块嵌入在IoTDB的引擎中,与IoTDB处于同一过程。接收器模块侦听一个单独的端口,该端口可由用户设置(有关详细信息,请参阅部分)。在使用之前,需要在同步接收器处设置白名单,以网段表示。接收方仅接受从位于白名单段中的发送方传输的数据。

同步工具具有多对一发送方-接收方模式 - 即,一个同步接收方可以同时从多个同步发送方接收数据,而一个同步发送方只能将数据发送到一个同步接收方。

注意:在使用同步工具之前,需要单独配置客户端和服务器。配置部分中详细介绍了配置。

应用场景

在工厂应用的情况下,通常有多个子工厂和多个通用(主)工厂。每个子工厂使用一个IoTDB实例收集数据,然后将数据同步到通用工厂进行备份或分析。一个总工厂可以从多个子工厂接收数据,一个子工厂也可以将数据同步到多个一般工厂。在此场景中,每个 IoTDB 实例管理不同的设备。

在同步模块中,每个子工厂都是一个发送方,一般工厂是接收方,发送方定期将数据同步到接收方。在上述应用场景中,一台设备的数据只能由一个发送方采集,因此多个发送方同步的数据之间不存在设备重叠。否则,不满足同步模块的应用场景。

当出现异常情况时,即两个或多个发送方将同一设备(其存储组设置为 root.sg)的数据同步到同一接收方,发送方包含接收方稍后收到的设备数据的 root.sg 数据将被拒绝。示例:引擎 1 将存储组 root.sg1 和 root.sg2 同步到接收器,引擎 2 将存储组 root.sg2 和 root.sg3 同步到接收器。所有这些都包括时间序列 root.sg2.d0.s0。如果接收方先接收到发送方 2 的 root.sg0.d0.s1 的数据,接收方将拒绝发送方 2 的 root.sg2 的数据。

配置

同步接收器

同步接收机的参数配置位于IoTDB的配置文件中,其目录为。在此配置文件中,有四个与同步接收器相关的参数。配置说明如下:iotdb-engine.properties$IOTDB_HOME/conf/iotdb-engine.properties

参数:is_sync_enable
描述 同步功能开关,配置为 true 以指示允许接收方从发送方接收数据并加载数据。设置为 false 时,表示不允许接收方从任何发送方接收数据。
类型 布尔
违约
修改后生效的方式 重新启动接收器
参数:IP_white_list
描述 设置发件人IP白名单,以网段的形式表示,多个网段之间用逗号分隔。当发送端向接收方传输数据时,只有当发送端的IP地址在白名单设置的网段内时,接收方才能允许同步操作。如果白名单为空,则接收方不允许任何发送方同步数据。默认接收器接受所有 IP 同步请求。
类型 字符串
违约 0.0.0.0/0
修改后生效的方式 重新启动接收器
参数:sync_server_port
描述 同步接收器端口以侦听。确保该端口不是系统保留端口,并且未被占用。仅当参数 is_sync_enable 设置为 TRUE 时,此参数才有效。
类型 短线 : [0,65535]
违约 5555
修改后生效的方式 重新启动接收器

同步发送方

同步发送方的参数在单独的配置文件 iotdb-sync-client.properties 中配置,安装目录为 。在此配置文件中,有五个与同步发送方相关的参数。配置说明如下:$IOTDB_HOME/conf/iotdb-sync-client.properties

参数:server_ip
描述 同步接收器的 IP 地址。
类型 字符串
违约 127.0.0.1
修改后生效的方式 重新启动客户端
参数:server_port
描述 同步接收机的监听端口,需要保证端口与接收机中设置的监听口配置一致。
类型 短线 : [0,65535]
违约 5555
修改后生效的方式 重新启动客户端
参数:sync_period_in_second
描述 同步过程的时间段,时间单位为秒。
类型 国际 : [0,2147483647]
违约 600
修改后生效的方式 重新启动客户端
参数:iotdb_schema_directory
描述 发送方 IoTDB 架构文件的绝对路径,如 $IOTDB_HOME/data/system/schema/mlog.txt(如果用户没有手动设置架构元数据的路径,则路径为 IoTDB 引擎的默认路径)。默认情况下,此参数无效,在用户需要时手动设置。
类型 字符串
修改后生效的方式 重新启动客户端
参数:sync_storage_groups
描述 此参数表示参与同步任务的存储组,同步任务用逗号区分每个存储组。如果列表为空,则表示所有存储组都参与同步。默认情况下,它是一个空列表。
类型 字符串
root.sg1, root.sg2
修改后生效的方式 重新启动客户端
参数:max_number_of_sync_file_retry
描述 将文件同步到接收器失败时的最大重试次数。
类型 国际 : [0,2147483647]
5
修改后生效的方式 重新启动客户端

用法

启动同步接收器

  1. 设置同步接收器的参数。例如:
  2. 启动 IoTDB 引擎,同步接收机将同时启动,LOG 日志将以指示返回接收机启动成功的句子开头。IoTDB: start SYNC ServerService successfully

停止同步接收器

停止 IoTDB,同步接收器将同时关闭。

启动同步发送程序

  1. 设置同步发送方的参数。例如:
  2. 启动同步发送程序 用户可以使用文件夹下的脚本启动同步发送程序。对于 Linux 和 Mac OS X 用户:$IOTDB_HOME/bin
  3. Shell >$IOTDB_HOME/bin/start-sync-client.sh

对于 Windows 用户:

  1. Shell >$IOTDB_HOME\bin\start-sync-client.bat

停止同步发送程序

用户可以使用文件夹下的脚本来停止同步发送程序。对于 Linux 和 Mac OS X 用户:$IOTDB_HOME/bin

  1. Shell >$IOTDB_HOME/bin/stop-sync-client.sh

对于 Windows 用户:

  1. Shell >$IOTDB_HOME\bin\stop-sync-client.bat
相关文章
|
8月前
|
SQL 分布式计算 Java
Apache IoTDB开发系统整合之Spark IoTDB Connecter
以下 TsFile 结构为例: TsFile 架构中有三个度量:状态、温度和硬件。
111 0
|
8月前
|
存储 缓存 监控
Apache IoTDB开发之运维和监控工具
目前,IoTDB为用户提供了使用Java的JConsole工具来监控系统状态或使用IoTDB的开放API来检查数据状态。启动JConsole工具并连接到IoTDB服务器后,咱们大家就可以基本了解IoTDB系统状态,包括CPU占用,内存信息等。
389 0
|
15天前
|
数据可视化 Linux Apache
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
|
19天前
|
机器学习/深度学习 分布式计算 大数据
一文读懂Apache Beam:统一的大数据处理模型与工具
【4月更文挑战第8天】Apache Beam是开源的统一大数据处理模型,提供抽象化编程模型,支持批处理和流处理。它提倡"一次编写,到处运行",可在多种引擎(如Spark、Dataflow、Flink)上运行。Beam的核心特性包括抽象化概念(PCollection、PTransform和PipelineRunner)、灵活性(支持多种数据源和转换)和高效执行。它广泛应用在ETL、实时流处理、机器学习和大数据仓库场景,助力开发者轻松应对数据处理挑战。
21 1
|
2月前
|
监控 测试技术 Linux
性能工具之 Apache Bench 入门使用
ab 全称为:apache bench,ab 为小型压力工具,对于在 Linux 中简单压测 HTTP 接口轻巧灵活。
24 1
|
2月前
|
存储 分布式计算 Hadoop
一文了解Apache Hudi架构、工具和最佳实践
一文了解Apache Hudi架构、工具和最佳实践
117 0
|
5月前
|
SQL 关系型数据库 MySQL
Apache StreamPark系列教程第二篇——项目打包和开发
Apache StreamPark系列教程第二篇——项目打包和开发
83 0
|
5月前
|
Apache 流计算
Apache Flink教程----2.本地开发
Apache Flink教程----2.本地开发
43 0
|
5月前
|
数据可视化 BI Apache
大数据可视化BI分析工具Apache Superset实现公网远程访问
大数据可视化BI分析工具Apache Superset实现公网远程访问
|
5月前
|
Dubbo 应用服务中间件 Apache
电子好书发您分享《Apache Dubbo 微服务开发从入门到精通》
电子好书发您分享《Apache Dubbo 微服务开发从入门到精通》
139 1

推荐镜像

更多