阿里云NoSQL X-Pack如何做到在线存储及计算一体?

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
简介: 大数据处理的挑战随着企业数据的逐渐积累和增多,数据架构从单节点的关系型数据库,演进到分库分表,再演进到NoSQL及hadoop生态。hadoop生态百花齐放,没有统一的架构标准,目前用的比较多的是Lambda架构,该架构主要特点为流计算、批处理、在线存储独立的,通过pipline来连接。

HBase用户福利

新用户9.9元即可使用6个月云数据库HBase,更有低至1元包年的入门规格供广大HBase爱好者学习研究,更多内容请参考链接

大数据处理的挑战

随着企业数据的逐渐积累增多,数据架构从单节点的关系型数据库,演进到分库分表,再演进到NoSQL及hadoop生态。hadoop生态百花齐放,没有统一的架构标准,目前用的比较多的是Lambda架构,该架构主要特点为流计算、批处理、在线存储独立的,通过pipline来连接。


c604a0501e462bcdfcad079498cfa04def5666a7.png

大数据Lambda架构比较复杂,流、批、在线存储需要独立建设,同时需要构建数据pipline来做数据交换流动。
  • 数据写入:批处理、流处理、在线存储需要分别写入数据。一方面流及批两层需要独立写入数据,同时很多大数据业务数据也会直接写入mongoDB、Cassandra、HBase、Redis等NoSQL系统这样的在线存储系统。
  • 数据交换:批处理、在线存储之间交换需要构建大量ETL批作业
  • 数据质量:批处理、流处理、在线存储需要分别写入数据,会导致数据维护繁琐,不同写入链路的数据可能不一致
  • 系统稳定性:Lambda架构批计算层和在线存储层需要做频繁的数据交换,且都是批处理直接通过在线存储API抽取数据以及回流,大数据量场景会影响在线存储的稳定性

NoSQL X-Pack构建大数据在线存储及计算一体化架构

为了从架构上解决上面这些问题云X-Pack Spark提供了一键流式归档NoSQL数据库的日志到spark离线数仓的能力。写入mongoDB、Cassandra、HBase的在线存储明细数据,可以自动归档到Spark离线数仓然后做复杂计算、机器学习等。云X-Pack Spark产品文档

X-Pack Spark一键流式归档

X-Pack Spark 一键归档支持将 Cassandra、HBase、mongoDB数据通过增量日志方式归档到 X-Pack Spark 数据仓库(对在线业务稳定性无影响),在 X-Pack Spark集群进行数据计算性能大幅提升。整体架构如下:


be5b76c325e20aec24e1482fb131ace2eaff8462.png

X-Pack Spark 一键归档模式推出了”大数据在线存储和计算一体化”架构,具有以下优点:

  • 数据一致性:避免双写;业务直接写NoSQL系统,数据自动归档到spark离线数仓
  • 稳定性:异步log同步到spark数仓,对NoSQL在线业务稳定性没有任何影响
  • 性能:spark分析列存,比直接分析NoSQL数据库性能大幅提升
  • 限制:目前X-Pack Spark一键流式归档上线支持了hbase,Phoenix、MongoDB、Cassandra敬请期待

归档数据计算

数据会周期的归档到spark的离线数仓(HiveMeta),然后可以直接在x-pack spark中查看数据以及计算


fb42f7371d523465c52b4bde36b35f1c8c0fc2a3.png

阿里云NoSQL数据库其他动态

阿里云Cassandra数据库正式公测,提供免费试用:https://www.aliyun.com/product/cds

xxx

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
3天前
|
缓存 弹性计算 NoSQL
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
|
3天前
|
存储 NoSQL 搜索推荐
nosql
【10月更文挑战第14天】nosql
9 2
|
3天前
|
安全 NoSQL 关系型数据库
阿里云数据库:助力企业数字化转型的强大引擎
阿里云数据库:助力企业数字化转型的强大引擎
|
4天前
|
存储 NoSQL MongoDB
基于阿里云数据库MongoDB版,微财数科“又快又稳”服务超7000万客户
选择MongoDB主要基于其灵活的数据模型、高性能、高可用性、可扩展性、安全性和强大的分析能力。
|
4天前
|
存储 NoSQL MongoDB
小川科技携手阿里云数据库MongoDB:数据赋能企业构建年轻娱乐生态
基于MongoDB灵活模式的特性,小川实现了功能的快速迭代和上线,而数据库侧无需任何更改
|
4天前
|
运维 NoSQL BI
简道云搭载阿里云MongoDB数据库,帮助数以万计企业重构业务系统
通过与MongoDB和阿里云团队的合作,让简道云少走了弯路,保障了线上服务的长期稳定运行,提高了吞吐效率,并相应降低了线上运行成本
|
9天前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
43 6
|
7天前
|
存储 关系型数据库 MySQL
Mysql(4)—数据库索引
数据库索引是用于提高数据检索效率的数据结构,类似于书籍中的索引。它允许用户快速找到数据,而无需扫描整个表。MySQL中的索引可以显著提升查询速度,使数据库操作更加高效。索引的发展经历了从无索引、简单索引到B-树、哈希索引、位图索引、全文索引等多个阶段。
39 3
Mysql(4)—数据库索引
|
9天前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
30 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
14天前
|
缓存 算法 关系型数据库
Mysql(3)—数据库相关概念及工作原理
数据库是一个以某种有组织的方式存储的数据集合。它通常包括一个或多个不同的主题领域或用途的数据表。
38 5
Mysql(3)—数据库相关概念及工作原理