海量结构化数据解决方案-表格存储场景解读

简介: 数据是驱动业务创新的最核心的资产。不同类型的数据如非结构化数据(视频、图片等)、结构化数据(订单、轨迹),面向不同业务的使用要求需要选择适合的存储引擎,能够真正发挥数据的价值。针对于海量的非强事务的海量结构化/半结构数据,表格存储一站式解决。这里详细解读该适合场景的使用解读。
+关注继续查看

数据是驱动业务创新的最核心的资产。不同类型的数据如非结构化数据(视频、图片等)、结构化数据(订单、轨迹),面向不同业务的使用要求需要选择适合的存储引擎,能够真正发挥数据的价值。
比如:非结构化的数据-视频图片等适合对象存储OSS,强事务的结构化数据-交易订单适合MySQL。

而针对于海量的非强事务的海量结构化/半结构数据:
pic1.png

这些场景特点是:
1. 数据规模大,常见的关系型数据库难以存储。
2.需要支持很高的读写吞吐与极低的响应延迟。
3. 数据结构相对简单,无跨数据表的关联查询,数据存储写入是无需复杂的事务机制。

表格存储Talestore正是为了解决上述数据的存储、访问以及计算。

历史订单场景

在电商、金融、外卖、新零售等所有涉及交易与协定的所有场景中,都涉及大量的订单。记录社会方方面面。传统关系型数据能够解决需要支持强一致的事务的在线业务,但海量的订单关系型数据无法保存全量数据,需要数据分层。

架构核心需求

  • 在线数据同步:做实时数据与历史数据分层—支持实时同步在线业务
  • 历史数据存储:历史订单数据存储—支持低延迟数据点查,搜索。
  • 高性价比海量存储数据分析:针对历史库进行报备统计分析—需支持计算组件分析统计!pic2.png

核心优势

  • 弥补在线库容量问题,降低在线库压力
  • PB级历史库存储,可全量保存所有数据,并能提供低延迟高并发查询
  • 索引订单内多字段,提供任意条件组合查询



IM/Feed流场景

IM(Instant Messaging,即时通讯)成为当前互联网业务基础组件,在社交、游戏、直播等场景广泛需要。需要高效支持海量消息的存储、同步、检索。  

架构核心组件

  • 消息历史库:按对话存储历史消息—需海量数据,存储易拓展
  • 消息同步库:按接受者存储同步消息—需支持高并发写入,实时拉取(写扩散)
  • 消息索引:针对历史库数据支持数据检索—需数据更新同步
    pic3.png

核心优势

  • Tablestore Timeline 消息模型,专为 IM/Feeds 场景设计,简化开发
  • 同步表百 TB 存储,存储表 PB 级存储。
  • 分布式架构,LSM存储引擎,支撑每秒百万写扩散消息写入,毫秒级同步库拉取
  • 读写扩散混合同步模型

时序场景-监控/IOT

针对实时数据的记录与分析极大的丰富了我们对于数据的使用场景。针对系统的运维监控、针对Iot场景中对于环境与人的监控都更有效帮助我们做事实理解与决策。这里需要面临众多设备与系统的高并发写入与数据存储,以及决策分析。

场景核心需求

  • 数据高并发写入:面向众多设备与系统支持百万级节点实时写入
  • 数据实时聚合:针对原始数据监控预聚合,降低精度—支持数据实时同步对接流计算
  • 数据存储:长久保存数据—需单表规模极大,高性价比存储

pic4.png

核心优势

  • 核心单表数据规模达 10 PB,可自定义数据生命周期
  • 核心单表持续每秒写入进 5000万个数据点
  • 数据实时写入,大大提升数据可见时效性
  • 毫秒级实时查询展示趋势图和报表,查询性能不受单表规模约束

舆情&风控分析

针对舆情信息的分析与把控,可以有效的分析与洞察市场。比如针对点评、新闻、评论等信息的收集分析。需要丰富的多类数据高并发写入与便捷的数据流转进行计算分析

场景核心需求

  • 原始数据写入存储:海量数据爬虫需要高并发写入能力与PB及存储。
  • 多数据类型存储:爬取的内容与生成的标签类似丰富需要写入Schema-Free
  • 数据分析:针对数据分阶段处理原始信息->结构化标签->结果存储—需要支持实时计算与离线计算对接
    pic5.png

核心优势

  • 分布式 LSM 引擎数据存储,提供高并发高吞吐写入,PB 级数据存储
  • 通过数据更新捕获,实时触发后续对数据的自定义处理逻辑
  • 与大数据平台实时数据同步,分析结果写入结果表,供应用层实时查询

推荐系统

推荐系统作为当前所有业务精细化运营的主要抓手,颠覆了传统内容输出方式,成为当前海量信息时代流转的核心引擎。广泛在电商、短视频、新闻等场景应用。需要高效支持海量消息存储与实时、离线分析。 

架构核心组件

  • 行为日志:存储客户端写入实时数据—需高并发写入,支持对接流式计算实时分析
  • 历史数据:冷数据同步下沉至OSS数据湖—需支持数据投递、便于数据分层
  • 用户标签:针对分析标签与推荐信息存储—需支持属性列横向拓展,高效检索

pic6.png

核心优势

  • 数据规模:存储量无上限,冷热数据分层灵活定义
  • 海量并发:单表写入水平扩展,支持亿行每秒级别
  • 数据实时写入,实时可见
  • 数据实时投递 OSS数据湖, Tablestore 只存储热数据,提供丰富索引,高吞吐扫描

联系我们

相关实践学习
阿里云表格存储使用教程
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展,提供海量结构化数据的存储和实时访问。 产品详情:https://www.aliyun.com/product/ots
目录
相关文章
|
11月前
|
存储 消息中间件 NoSQL
物联网数据通过规则引擎流转到OTS|学习笔记
快速学习物联网数据通过规则引擎流转到OTS
179 0
物联网数据通过规则引擎流转到OTS|学习笔记
|
12月前
|
存储 负载均衡 开发者
表格存储数据多版本介绍| 学习笔记
快速学习表格存储数据多版本介绍。
169 0
表格存储数据多版本介绍| 学习笔记
|
存储 NoSQL 关系型数据库
基于TableStore的海量气象格点数据解决方案实战 王怀远
基于TableStore的海量气象格点数据解决方案实战 王怀远
212 0
基于TableStore的海量气象格点数据解决方案实战 王怀远
|
存储 SQL 运维
基于Tablestore 实现大规模订单系统海量订单/日志数据分类存储的实践
前言:从最早的互联网高速发展、到移动互联网的爆发式增长,再到今天的产业互联网、物联网的快速崛起,各种各样新应用、新系统产生了众多订单类型的需求,比如电商购物订单、银行流水、运营商话费账单、外卖订单、设备信息等,产生的数据种类和数据量越来越多;其中订单系统就是一个非常广泛、通用的系统。而随着数据规模的快速增长、大数据技术的发展、运营水平的不断提高,包括数据消费的能力要求越来越高,这对支撑订单系统的数据库设计、存储系统也提出了更多的要求。在新的需求下,传统的经典架构面临着诸多挑战,需要进一步思考架构优化,以更好支撑业务发展;
596 0
基于Tablestore 实现大规模订单系统海量订单/日志数据分类存储的实践
|
存储 SQL 分布式计算
使用 Data Lake Formation(DLF) 进行 Tablestore 数据实时入湖
本文介绍使用 Data Lake Formation (DLF)服务,实时订阅 Tablestore(原 OTS) 的数据,并以 Delta Lake 的格式投递进入 OSS,构建实时数据湖。 ## 架构介绍 表格存储是一种全托管的云原生数据库,使用表格存储您无需担心软硬件预置、配置、故障、集群扩展、安全等问题。提供高服务可用性的同时极大地减少了管理成本。 表格存储支持多种数据库模型
670 0
使用 Data Lake Formation(DLF) 进行 Tablestore 数据实时入湖
|
存储 SQL 开发框架
阿里云物联网平台数据转发到表格存储(Table Store)示例参考
本文主要结合物模型的结构体类型属性数据,演示payLoad的设置及规则引擎的配置。
阿里云物联网平台数据转发到表格存储(Table Store)示例参考
|
SQL 存储 弹性计算
玩转Tablestore:使用Grafana快速展示时序数据
Grafana 是一款采用 go 语言编写的开源应用,主要用于大规模指标数据的可视化展现,是网络架构和应用分析中最流行的时序数据展示工具,可以通过将采集的数据查询然后可视化的展示,实现报警通知;Grafana拥有丰富的数据源,官方支持以下数据源:Graphite,Elasticsearch,InfluxDB,Prometheus,Cloudwatch,MySQ
1486 0
|
NoSQL 分布式计算 Java
通过EMR Spark Streaming实时读取Tablestore数据
本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。 场景设计 随着互联网的发展,企业中积累的数据越来越多,数据的背后隐藏着巨大的价值,在双十一这样的节日中,电子商务企业都会在大屏幕上实时显示订单总量,由于订单总量巨大,不可能每隔一秒就到数据库中进行一次SQL统计,此时就需要用到流计算,而传统的方法都是需要借助Kafka消息队列来做流式计算,数据订单需要写入数据库与Kafka中,Spark Streaming 消费来自Kafka中的订单信息。
3435 0
|
流计算 NoSQL 存储
Tablestore + Blink实战:交易数据的实时统计
交易数据的实时统计是电商网站一个核心功能,可以帮助用户实时统计网站的整体销售情况,快速验证“新销售策略”的效果。我们今天介绍一个基于表格存储(Tablestore)实现交易数据的实时计算,给大家提供一个新使用方式。
4567 0
使用DTS同步MySQL增量数据到Tablestore
摘要 从MySQL到Tablestore的全量数据导出可以参考同系列文章《数据同步-从MySQL到Tablestore》,本文主要介绍将MySQL的增量数据同步到Tablestore的一种方式——使用阿里集团的数据传输服务DTS的数据订阅功能做增量数据的读取以及改写。
1440 0
相关产品
推荐文章
更多