TableStore+OSS:物联网数据的备份系统实践

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: : TableStore是阿里云自研专业级分布式NoSQL数据库,OSS是阿里云的对象存储服务,本篇文章会介绍如何同步TableStore中的数据到OSS中,以便对冷数据做更长久时间的低成本存储。

物联网

场景描述

L公司是一家物联网解决方案提供商,为不同物联网设备生产商提供物联网解决方案,这些物联网设备涉及众多产品领域,包括空调,摄像头,门锁,位置传感器,净化器,扫地机器人,各种工业传感器等等,这些设备都需要实时上传数据到存储系统保存,然后分析系统会实时计算,按照预定义逻辑触发报警或者生成报表。

物联网设备信息和产生的时序数据很适合用Table Store存储,而且能提供非常便捷的通道,用来做分析,具体可以参考这篇文章:如何高效存储海量GPS数据

生产的每一个设备都会有一个设备ID,唯一标识这个设备,并且还存在一些属性值,比如地理位置,属于哪个生产商,属于哪个用户,目前的配置参数等等,这些值相当于这个设备的身份证和户口本。这些数据非常重要,不能容忍丢失,要有接近100%的数据可靠性保证。

核心数据备份

要保证数据尽量高的可靠性,需要从两个方面保证:

存储系统本身的数据可靠性:Table Store基于共享存储,提供99.99999999%的数据可靠性保证,在业界属于非常非常高的标准了。

误操作后能恢复数据 :误操作永远都无法避免,要做的是当误操作发生的时候能尽快恢复,那么就需要有备份数据存在。对于备份,有两种方向,一个是部署同城或异地灾备,这种代价高费用高,更多的用于社会基础信息或金融信息。另一种是将数据备份到另一个价格更低廉的系统,当万一出现误操作的时候,可以有办法恢复就行。一般选择文件存储系统,比如阿里云OSS。

冷数据保存

物联网设备产生的数据是一种时序数据,基于时间的一序列数据点,这些数据的价值和时间成绝对正比,越新的数据价值越大,访问也越大,一般六个月之前的数据的访问量会非常非常低。如果将六个月之前的老数据和最新的数据存储在同一个系统上,那么就不是很划算。这时候,就需要把早一些的数据(比如六个月之前)的数据保存到更便宜的文件存储系统上,比如阿里云OSS。

目标

基于上述两个原因,有不少用户就希望能把Table Store的数据可以备份到OSS上,这样比较热,价值高的数据在Table Store上供用户实时查询或者实时分析、计算等,然后再拷贝一份数据到OSS,提供备份,以及冷数据存储。

一般是账号注册数据等核心数据用OSS来做备份,时序数据用OSS来做冷数据存储,有时候也会直接实时拷贝一份Table Store中的数据存储到OSS,同时提供灾备和冷数据存储功能。

针对上述问题,Table Store团队联合数据集成(CDP)团队上线了近实时的数据同步(备份)方案,用户只需要将数据写入Table Store,Table Store会负责将数据在10分钟内自动发送给OSS存储。

相关产品

Table Store:阿里云分布式NoSQL数据库,专注于海量数据的存储服务,目前单表可支持10PB级,10万亿行以上的数据量,且数据量增大后性能仍然保持稳定。Table Store Stream功能是一种增量实时通道服务,类似于MySQL的binlog,可以通过Stream接口实时读取到最新的变化数据(Put/Update/Delete)。

数据集成 :阿里云数据管理平台,支持数据同步等众多数据功能。

OSS:阿里云对象存储服务,提供海量、安全、低成本、高可靠的云存储服务,提供99.99999999%的数据可靠性。使用RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩展,多种存储类型供选择全面优化存储成本。

三种产品在方案中的角色如下:

| 产品 | Table Store | 数据集成 | OSS |
| --- | --- | --- | --- |
| 角色 | 数据存储 | 数据同步通道 | 备份 |

限制

由于Table Store和OSS不是完全对等的产品,所以如果需要将数据导入OSS,那么在使用Table Store的时候有一些注意的地方:

  • 整行写入:

    • 目前是使用Table Store Stream功能,需要每次写入Table Store的数据是整行数据,目前类似物联网数据的时序数据写入方式都是整行写入,后续基本无修改。
  • 同步延时:

    • 目前使用的是周期调度,每隔5分钟调度一次,再加上插件中有5分钟延迟,同步总延迟在5~10分钟。
  • OSS的文件数:

    • 每次导出任务都会在OSS上生成一个新的文件,为了避免文件数过多,可以将同步周期延长,比如一个小时。具体时间需要根据自己业务特点确定。

使用方式

  • 写:

    • 直接写入Table Store,
  • 读:

    • 直接读取Table Store。
  • 备份:

    • 自动备份。
  • 恢复:

    • 使用数据集成(OSSreader + OTSwriter)重新写会Table Store。

备份

账号注册等核心数据 :这类数据的特点是会经查更新,但数据量不大,对于这种类型的数据可以定期打snapshot,就是每天定时把这个表的数据全量导出到OSS保存。当发生误操作删除数据后,可以直接从OSS恢复全量。另一种做法就是实时通过Table Store Stream同步到OSS,但是这一种方式目前无法处理删除。所以,可以两者结合使用,或者直接使用全量导出。

冷数据保存

传感器时序数据 : 这类数据的特点是每次都是新写入,基本无修改,这类数据可以使用Table Store Stream功能实时同步到OSS中。然后对Table Store中的数据设置生命周期,比如半年,等到半年后,Table Store中超过半年的数据会被系统自动销毁,这时候数据只会在OSS中存在。

Table Store配置

无须配置

OSS配置

无需配置

数据集成

1. 创建数据源(可选)

  1. 如果已经创建了Table Store的数据源,则可以跳过这一步。
  2. 如果不希望创建数据源,也可以在配置页面配置相应的endpoint,instanceName,AccessKeyID和AccessKeySecret。如果希望创建,则按照下面步骤操作。
  3. 登录阿里云大数据开发套件:数据源地址
  4. 单击左侧 离线同步 > 数据源
  5. 在数据源配置页面,选择右上角 新增数据源 ,会有一个弹出框。
  6. 按照说明填写:

    • 数据源名称:填写一个数据源标识符,比如车联网。
    • 数据源描述:填入描述符,比如:车联网GPS数据存储。
    • 数据源类型:选择 ots ,ots是Table Store曾用名。
    • OTS Endpoint:填入TableStore 实例页面的实例地址,如果Table Store的实例和目标产品(比如OSS)在同一个region,则可以填入私网地址,否则需要填入公网地址,不能填入VPC地址。
    • OTS 实例ID:填入Table Store的实例名称。
    • Access Id:填入阿里云网站的AccessKeyID。
    • Access Key:填入阿里云网站AccessKeyID对应的AccessKeySecret。
    • 点击 测试连通性 ,如果成功则会在右上角提示:测试连接成功。 如果失败,点击endpoint是否配置正确,如果仍然无法解决,提工单联系数据集成。
    • 填好后的页面类似下面这样:
      配置数据源
  7. 单击确定,数据源创建成功,此时在数据源页面会出现一个新的数据源信息;
    新数据源
  8. 目前Table Store和OSS都支持新增数据源。在创建OSS的数据源的时候要注意:OSS的endpoint地址不包括bucketName,具体参考:OSS endpoint介绍

2. 创建导出任务

  1. 单击数据集成地址,进入数据集成的页面,会出现模式选择:
    模式选择
  2. 单击 脚本模式 ,弹出一个 导入模板 配置。
  3. 在导入模板配置里面:

    1. 来源类型:OTS Stream(如果是增量同步,选择OTS Stream;如果是全量导出,选择OTS)
    2. 目标类型:OSS
    3. 下述图中选择了OTS Stream,表示增量同步
      oss1
  4. 单击确认,则进入配置界面。

3. 完善配置项

在配置界面,已经提前嵌入了OTSStreamReader和OSSWriter的模板,每一项配置后面都做了解释。这里我们主要介绍增量同步的配置,会详细介绍OTSStreamReader的配置,如果是全量导出,则会使用OTSReader,OTSReader的配置可以参考:全量导出的OTSReader配置项

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "setting": {
      "errorLimit": {
        "record": "0"  # 允许出错的个数,当错误超过这个数目的时候同步任务会失败。
      },
      "speed": {
        "mbps": "1",  # 每次同步任务的最大流量。
        "concurrent": "1"   # 每次同步任务的并发度。
      }
    },
    "reader": {
      "plugin": "otsstream",  # Reader插件的名称。
      "parameter": {
        "datasource": "", # Table Store的数据源名称,如果有此项则不再需要配置endpoint,accessId,accessKey和instanceName。
        "dataTable": "", # TableStore中的表名。
        "statusTable": "TableStoreStreamReaderStatusTable", # 存储TableStore Stream状态的表,一般不需要修改。
        "startTimestampMillis": "",  # 开始导出的时间点,由于是增量导出,需要循环启动此任务,则这里每次启动的时候的时间都不一样,这里需要设置一个变量,比如${start_time}。
        "endTimestampMillis": "",  # 结束导出的时间点。这里也需要设置一个变量,比如${end_time}。
        "date": "yyyyMMdd",  # 导出哪一天的数据,功能和startTimestampMillis、endTimestampMillis重复,这一项需要删除。
        "mode": "single_version_and_update_only", # TableStore Stream导出数据的格式,目前需要设置成:single_version_and_update_only。如果配置模板中没有则需要增加。
        "column":[  # 需要导出TableStore中的哪些列到OSS中去,如果配置模板中没有则需要增加,具体配置个数由用户自定义设置
                 {
                    "name": "uid"  # 列名,这个是Table Store中的主键
                 },
                 {
                    "name": "name"  # 列名,这个是Table Store中的属性列。
                  },
        ],
        "isExportSequenceInfo": false, # single_version_and_update_only 模式下只能是false。
        "maxRetries": 30 # 最大重试次数。
      }
    },
    "writer": {
      "plugin": "oss", # Writer插件的名称
      "parameter": {
        "datasource": "", # OSS的数据源名称
        "object": "",  # 最后备份到OSS的文件名的前缀,建议Table Store实例名/表名/date。比如"instance/table/{date}"
        "writeMode": "truncate", # 支持truncate|append|nonConflict,truncate会清理已存在的同名文件;append会加到已存在的同名文件内容后面;nonConflict会报错当同名文件存在时。
        "fileFormat": "csv", # 文件类型
        "encoding": "UTF-8", # 编码类型
        "nullFormat": "null", # 当遇到控制时,在文本中如何表示
        "dateFormat": "yyyy-MM-dd HH:mm:ss", # # 时间格式
        "fieldDelimiter": "," # 每一列的分隔符
      }
    }
  }
}

更详细的配置项可以参考:

4. 保存任务

  1. 点击上部的 保存 按钮,则弹出一个对话框,输入任务名称后按确定即可。
    oss2
  2. 保存后会提示:
    oss3

5. 运行任务(测试)

  1. 点击配置内容上部的 运行
  2. 弹出一个配置框,这里需要设置配置文件里的变量值:
    oss7
  3. 设置完成后,点击 确定 后就会开始运行任务,运行结束后到OSS控制台检查是否备份文件成功。
  4. 如果测试运行没问题,则可以正式提交任务了。

6. 提交任务

  1. 点击配置内容上部的 提交
    submit
  2. 配置调度参数:

    • 调度类型:周期调度
    • 自动重跑:√
    • 生效日期:默认值
    • 调度周期:分钟
    • 起始时间:默认值
    • 时间间隔:5分钟
    • 跨周期依赖:可以选择:自依赖,等待上一调度周期结束,才能继续运行。
    • start_time:$[yyyymmddhh24miss-10/24/60],表示调度时间-10分钟。
    • end_time:$[yyyymmddhh24miss-5/24/60],表示调度时间-5分钟。
    • date:${bdp.system.bizdate}:表示调度日期
      oss4
  3. 提交任务后,原有任务处于:只读状态。

7. 查看任务

  1. 前往 运维中心 > 任务列表 > 周期任务 ,就可以看到刚刚创建的同步任务。
    oss5
  2. 隔一天后,可以前往 运维中心 > 任务运维 > 周期实例 ,就可以看到当天需要运行的每一个实例,同时可以看到每个实例的状态以及日志。

8. 验证结果

  1. 周期任务是从下一天的00:00点开始执行。
  2. 等执行完一个任务后,就可以到OSS控制台查看是否生成了新的文件,文件内容是否符合预期。

下一步计划

至此,TableStore数据通过数据集成同步到OSS的配置完成了,延迟在5分钟到10分钟之间。
对于备份场景,这种延迟基本能满足大部分用户的需求了,但为了体验更佳,后面还会继续优化,主要会在两方面:

  • 配置方式上,会使用向导模式,配置更简单。
  • 时效性上,会尽量达到秒级延迟。
  • 在使用中有任何问题,可以加入表格存储钉钉技术交流群:11789671。
  • 更多的Table Store使用场景和通道服务,可以参考: Table Store进阶之路
目录
相关文章
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
106 1
|
3月前
|
机器学习/深度学习 自然语言处理 物联网
深度学习入门:从理论到实践新技术趋势与应用:探讨新兴技术如区块链、物联网、虚拟现实等的发展趋势和应用场景
【8月更文挑战第30天】本文将介绍深度学习的基本原理和实践应用。我们将从深度学习的定义、历史和发展开始,然后深入探讨其工作原理和关键技术。接着,我们将通过一个简单的代码示例来展示如何实现深度学习模型。最后,我们将讨论深度学习在现实世界中的应用和挑战。无论你是初学者还是有经验的开发者,这篇文章都将为你提供深度学习的全面理解。
|
8天前
|
人工智能 监控 物联网
深度探索人工智能与物联网的融合:构建未来智能生态系统###
在当今这个数据驱动的时代,人工智能(AI)与物联网(IoT)的深度融合正引领着一场前所未有的技术革命。本文旨在深入剖析这一融合背后的技术原理、探讨其在不同领域的应用实例及面临的挑战与机遇,为读者描绘一幅关于未来智能生态系统的宏伟蓝图。通过技术创新的视角,我们不仅揭示了AI与IoT结合的强大潜力,也展望了它们如何共同塑造一个更加高效、可持续且互联的世界。 ###
|
10天前
|
传感器 安全 算法
物联网发布者在数据传输过程中如何防止数据被篡改
在物联网数据传输中,为防止数据被篡改,可采用加密技术、数字签名、数据完整性校验等方法,确保数据的完整性和安全性。
|
10天前
|
存储 安全 算法
物联网发布者在发送数据时如何保证数据的安全性和完整性
数据加密、密钥管理和数据完整性验证是物联网安全的重要组成部分。对称加密(如AES)和非对称加密(如RSA)分别适用于大量数据和高安全需求的场景。密钥需安全存储并定期更新。数据完整性通过MAC(如HMAC-SHA256)和数字签名(如RSA签名)验证。通信协议如MQTT over TLS/SSL和CoAP over DTLS增强传输安全,确保数据在传输过程中的机密性和完整性。
|
12天前
|
供应链 物联网 区块链
未来已来:探索区块链、物联网与虚拟现实技术的融合趋势与实践应用
【10月更文挑战第34天】随着科技的迅猛发展,新兴技术如区块链、物联网(IoT)和虚拟现实(VR)正逐步渗透到我们的生活中,不仅改变着我们的生活方式,还在重塑全球的经济结构。本文将深入探讨这些技术的发展现状、相互之间的融合趋势以及在实际应用中的创新场景。我们将通过具体案例分析,揭示这些技术如何共同作用,推动社会向更加智能、互联的方向发展。
28 3
|
20天前
|
存储 JSON 运维
智能物联网平台:Azure IoT Hub在设备管理中的实践
【10月更文挑战第26天】随着物联网技术的发展,Azure IoT Hub成为企业管理和连接数百万台设备的强大平台。本文介绍Azure IoT Hub的设备管理功能,包括设备注册、设备孪生、直接方法和监控诊断,并通过示例代码展示其应用。
26 4
|
1月前
|
传感器 机器学习/深度学习 存储
物联网设备精细化管理系统解决方案
随着科技的进步,物联网技术作为新一代信息技术的核心部分,正在深刻改变各行业的生产和管理方式。其在资产管理、智慧城市、能源管理和智慧医疗等多个领域的广泛应用,不仅提高了运营效率,还促进了资源优化配置和精细化管理。本文详细介绍了物联网的基础概念及其在设备精细化管理系统中的具体应用方案,展示了如何通过智能感知层建设、数据处理分析平台以及精细化管理应用,实现设备的实时监控、预测性维护和能耗管理等功能,从而帮助企业提升竞争力,降低成本,并推动社会向更智能化、绿色化的方向发展。
84 2
物联网设备精细化管理系统解决方案
|
1月前
|
存储 监控 物联网
医疗物联网设备精细化管理系统解决方案
华汇数据智慧医院物联网管理系统解决方案是一种集物联网、云计算、大数据和人工智能等先进技术于一体的综合性解决方案,旨在提升医院的运营效率、医疗质量和患者满意度。
73 3
|
1月前
|
安全 物联网 网络安全
新技术浪潮下的探索与实践:区块链技术、物联网、虚拟现实的融合与创新
【10月更文挑战第6天】本文旨在探讨新兴技术——区块链、物联网、虚拟现实在现代科技革命中的发展趋势及其应用场景。通过分析这些技术的基本原理和相互作用,我们揭示了它们如何共同塑造未来社会的面貌。文章将深入讨论这些技术带来的挑战与机遇,并提出相应的应对策略。
30 7

相关产品

  • 对象存储
  • 下一篇
    无影云桌面