三款新功能发布,助力阿里云表格存储再次升级

本文涉及的产品
表格存储 Tablestore,50G 2个月
简介: 阿里云表格存储于近期功能再升级,升级后的表格存储支持对DataHub采集的数据进行持久化存储,其Python SDK新增支持Python 3.x,以及最新发布的TimelineLib能够帮助用户轻松构建千万级IM和Feed流系统。

阿里云表格存储于近期功能再升级,升级后的表格存储支持对DataHub采集的数据进行持久化存储其Python SDK新增支持Python 3.x,以及最新发布的TimelineLib能够帮助用户轻松构建千万级IM和Feed流系统。

功能一:支持对DataHub采集的数据进行持久化存储

阿里云表格存储支持对DataHub采集的数据进行持久化存储。用户可以通过DataHub服务对各种移动设备、应用软件、网站服务、传感器等产生的大量流式数据进行持续不断的采集,并实时写入到表格存储中进行持久化存储,基于表格存储提供低成本、弹性与高性能的数据在线服务。


据了解,该新功能适合使用DataHub进行数据采集并对数据有持久化存储与在线服务需求的用户。


持久化存储功能的实现依赖DataHub DataConnector功能将DataHub服务中的流式数据同步到其他云产品中,目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据,并在DataHub服务中配置好同步功能,便可以在各个云产品中使用这份数据。数据同步支持at least once语义,在网络服务异常等小概率场景下可能会导致目的端的数据产生重复。

 

前置条件

创建TableStore DataConnector主要需要如下前置条件:

· TableStore相关信息,包括TableStore服务的Endpoint、TableStore实例及其对应的Table

· DataHub Topic的Owner/Creator账号, 才有相应的权限操作DataConnector,包括创建,删除等

· TableStore表的主键列必须在DataHub Topic下有字段一一对应(定义顺序可以不一致)

· 授权服务角色AliyunDataHubDefaultRole,使得DataHub可以访问用户的TableStore资源授权链接)。


操作流程

1. 进入Topic的详情页面:

1d03bfc290764c2171ac674361c055d78d14de5e


2. 选择同步TableStore并填写相关配置:

8a53f272895e48817a538cbdf5fd5090dc76c314


3. 在DataConnector页面查看数据归档状态:

3045186bd513655dfd38a4692b2a07b48eca9b3f


配置说明

 

名称

是否必须

描述

TableStore Endpoint

yes

TableStore服务地址

TableStore实例名

yes

TableStore实例名

TableStore表名

yes

同步到TableStore的表


注意事项

· TableStore表的主键列必须在对应的DataHub Topic下存在同名的字段,由于DataHub大小写不敏感,所以TableStore的主键名如果存在大写字母,那么在DataHub Topic有对应小写字段

· 同步TableStore表的DataConnector任务仅支持TUPLE类型Topic

· TableStore服务端自身的限制最大每次批量写入的行数为200,具体TableStore的相关限制请参考https://help.aliyun.com/document_detail/27301.html

 

功能二:表格存储Python SDK支持Python 3.x

TableStore Python SDK 从现在开始可以支持Python 3了,Python的3.0版本,相对于Python的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0在设计的时候没有考虑向下兼容,所以Python2和Python3有较大的不兼容。目前已经有大量的项目和系统开始使用Python 3,Python官方对于Python 2的支持也将在未来3年内放弃支持。

 

为了更好的满足Python 3用户的需求,TableStore的新版本SDK对Python3做了适配性,同一个版本可以支持Python2.6,Python2.7,Python3.3,Python3.4,Python3.5和Python3.6。用户在安装的时候,不管是通过setup.py还是pip方式,安装脚本会自动根据当前使用的Python的版本选择不同的安装内容,保证安装好的TableStore Python SDK可以完美适配Python版本。

 

该项新功能适用于使用表格存储Python SDK的全网用户。


功能三:TimelineLib

TableStore发布TimelineLib,现在用户可以通过TimelineLib轻松构建千万级IM和Feed流系统。 TimelineLib基于表格存储,实现了Timeline概念模型,并将该模型转换成为对存储系统、同步系统的读写接口,并封装了对底层存储系统的交互逻辑。

 

用户基于TimelineLib即可轻松实现一个基于表格存储的IM或者Feed流系统,并能够充分的将表格存储的高并发、低延时特性利用起来。此功能特别适合需要IM、Feed流系统的游戏、社交类客户。     

相关实践学习
消息队列+Serverless+Tablestore:实现高弹性的电商订单系统
基于消息队列以及函数计算,快速部署一个高弹性的商品订单系统,能够应对抢购场景下的高并发情况。
阿里云表格存储使用教程
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展,提供海量结构化数据的存储和实时访问。 产品详情:https://www.aliyun.com/product/ots
目录
相关文章
|
存储 NoSQL 数据库
阿里云表格存储(table store)属于存储类别还是数据库类别?
什么是表格存储? 表格存储是阿里云提供的一种数据服务。阿里云官方文档的定义如下: 表格存储(Table Store)是阿里云自研的NoSQL多模型数据库,提供海量结构化数据存储以及快速的查询和分析服务。
2840 0
|
3月前
|
存储 人工智能 数据管理
OSS&Tablestore 向量检索能力全新升级,重塑AI时代数据管理
阿里云 OSS Indexing 发布了向量索引和检索能力。该功能除了可以对 OSS Meta 进行检索之外,还可以对多媒体数据元信息、用户自定义元数据以及向量语义进行检索。OSS Indexing 功能,是依托阿里云表格存储 TableStore 提供的索引存储和检索能力而构建的。表格存储针对成本、规模、召回率等挑战,发布了低成本、大规模、高性能、高召回率的向量检索服务,能以较低成本支持千亿规模数据的存储和检索。
229 8
|
3月前
|
存储 人工智能 NoSQL
OSS&Tablestore 向量检索能力全新升级,重塑AI时代数据管理
近日,阿里云成功举办了“AI驱动:数据管理的进化与创新 ”线上新品发布会。发布会上,阿里云存储产品向量检索能力全新升级,重塑AI时代数据管理。
|
4月前
|
存储 SQL 监控
|
存储 消息中间件 监控
Tablestore 物联网存储全面升级 -- 分析存储公测
物联网存储功能介绍随着物联网技术的快速发展,物联网已广泛应用于制造业、能源、建筑、医疗、交通、物流仓储等多个领域,物联网的应用能够有效节约资源、提高效率、保障安全以及降低成本,帮助各行业实现可持续发展目标。在物联网场景中根据数据特点进行分类,数据主要包括设备元数据、设备消息数据和设备时序数据三种类型,不同类型数据的存储需求不同。物联网场景中不同类型数据的存储核心需求如下:设备元数据:主要数据为设备
278 0
Tablestore 物联网存储全面升级 -- 分析存储公测
|
NoSQL 开发工具
TableStore表格存储(阿里云OTS)多行数据操作查询,支持倒序,过滤条件和分页
1. 批量读取操作 批量读取操作可以通过多种方式进行,包括: GetRow:根据主键读取一行数据。 BatchGetRow:批量读取多行数据。 GetRange:根据范围读取多行数据。
883 0
《阿里云产品手册2022-2023 版》——表格存储
《阿里云产品手册2022-2023 版》——表格存储
145 0
|
存储 SQL 分布式计算
《阿里云存储手册》——表格存储Tablestore
《阿里云存储手册》——表格存储Tablestore
296 0
|
存储 运维 NoSQL
阿里云表格存储全面升级,打造一站式物联网存储新方案
阿里云表格存储全面升级,打造一站式物联网存储新方案
576 0
阿里云表格存储全面升级,打造一站式物联网存储新方案
|
存储 编解码 运维
阿里云云存储(OSS\TableStore\NAS )+CDN 产品: 更快速,更低成本|学习笔记
快速学习 阿里云云存储(OSS\TableStore\NAS )+CDN 产品:更快速,更低成本
467 0
下一篇
无影云桌面