开发者社区> 云原生数据湖分析DLA> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

DLA支持分析MongoDB/RDS只读实例

简介: 在对Mysql,MongoDB等数据库系统进行分析时,经常面临的一个问题是在进行分析查询时如何避免对实时业务产生影响,也就是OLAP负载和OLTP负载隔离的问题。针对这个问题,阿里云数据湖团队一直在努力优化,提供满足不同场景的解决方案。
+关注继续查看

在对Mysql,MongoDB等数据库系统进行分析时,经常面临的一个问题是在进行分析查询时如何避免对实时业务产生影响,也就是OLAP负载和OLTP负载隔离的问题。针对这个问题,阿里云数据湖团队一直在努力优化,提供满足不同场景的解决方案。

最近,我们支持了对MongoDB和RDS只读实例的分析,做到了完全不影响源库、数据完全实时,为对负载隔离有更高要求的用户提供了更好的选择。

场景分析

OLAP负载和OLTP负载隔离的问题,常常会和数据的实时性、成本等因素做权衡,综合考虑。过去,数据湖针对不同的隔离性要求和成本,提供过一些方案:

  • 针对直接查询RDS的用户,可以通过jdbc-scan-splits这个hint来调整SQL的并发度。用户可以根据业务的特点设置合理的并发度,控制OLAP查询产生的影响。jdbc-scan-splits关键字的用法参见帮助文档
  • 通过一键建仓功能在业务低峰期把数据拖到DLA,避免直接分析源库。具体介绍参见文章

但是,仍然有一些场景是这些方案覆盖不到的,例如:

  1. 一键建仓目前暂时不支持MongoDB。同样,MongoDB也不能使用jdbc-scan-splits这个hint。
  2. 以上提到的两种方法对源库仍然会产生一定的影响,如果业务没有明显的低峰,这种影响仍然不能忽略。
  3. 一键建仓不能满足对数据实时进行分析的需求。

考虑到这些因素,我们针对对分析的实时性有较高要求又可以接受一定的成本的用户,通过支持分析只读实例来实现OLAP负载隔离。这样我们就比较完整的支持了大部分场景:

分析方案 对源库影响 数据实时性 是否支持MongoDB 成本
直接查询源库 较大 实时 支持
一键建仓 较小 非实时 不支持 较低
查询只读实例 几乎无影响 实时 支持 较高

以下描述使用DLA分析MongoDB和RDS只读实例的具体步骤。

使用DLA分析MongoDB只读节点

添加MongoDB只读节点

MongoDB副本集实例在创建时可以指定只读节点的个数:
image

如果创建时没有选择只读节点,在创建之后也可以在实例基本信息页面添加只读节点:
image

添加了只读节点之后,可以在页面上看到只读节点的连接地址:
image

关于只读节点参见MongoDB帮助文档

创建数据库

CREATE DATABASE mongo_ro WITH DBPROPERTIES (
     catalog = 'mongodb',
     location = '只读节点连接地址,见上图',
     database = 'mongo_test',
     INSTANCE_ID = 'mongodb_instance_id',
     vpc_id = 'vpc-*******'
 );

只要这里的location写上MongoDB只读节点的连接地址,后续通过DLA进行的查询都只会连接MongoDB的只读节点。

使用DLA分析RDS只读实例

添加RDS只读实例

参见 RDS帮助文档,可以在实例详情页面右侧“添加只读实例”创建一个只读实例。
image

只读实例拥有独立的实例ID和连接地址:
image

创建数据库

 CREATE SCHEMA hello_mysql_vpc_rds WITH DBPROPERTIES (
   CATALOG = 'mysql', 
   LOCATION = 'jdbc:mysql://rm-******fofake.mysql.rds.aliyuncs.com:3306/rds_mysql_dbname',
   USER = 'rds_mysqldb_username',
   PASSWORD = 'rds_mysqldb_password',
   INSTANCE_ID = '只读实例ID',
   VPC_ID = 'rds_mysqldb_vpcid'
 );

这样,后续通过DLA进行的查询都会落在只读实例上面,不会对源库产生任何影响。

关于我们

数据湖分析Data Lake Analytics简介

欢迎大家使用数据湖分析(DLA),DLA不仅仅便宜,且快,且方便,专为阿里云数据湖分析方案而生

  • 支持自建、托管RDS、NoSQL、OSS(JSON、CSV、Parquet等格式)多种数据源分析
  • 支持按量 按照扫描量 的计费方式,准入门槛0元,提供的Serverless的弹性服务为按需收费,不需要购买固定的资源,完全契合业务潮汐带来的资源波动,满足弹性的分析需求,同时极大地降低了运维成本和使用成本
  • 平台底层托管大集群且自动弹性,在一定数据量情况下,分析性能比自建小集群高出400%
  • 支持一键 把 MySQL、PG、SqlServer、PolarDb数据库 拖到DLA,再分析,解决原MySQL不敢分析的问题。 DLA 分析性能TPC-H 10G情况 比原MySQL 8c16g 等高出10倍,数据量越大,MySQL性能越差,在1TB数据量下,原MySQL基本跑不出来
  • 产品文档:https://www.aliyun.com/product/datalakeanalytics
  • 帮助文档:https://help.aliyun.com/document_detail/70378.html
  • MySQL&PG&SqlServer一键同步数据到DLA:https://help.aliyun.com/document_detail/126559.html
  • 新客户1元试用:https://common-buy.aliyun.com/?commodityCode=openanalytics_post

欢迎大家群内咨询

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
DRDS和RDS只读实例性能对比测试
    我们都知道,对于数据库中基础信息表来说,它的数据变化频率低,数据量小,但由于基础数据本身的特点,大多数相关系统都会对频繁地读取它。即便我们通过对数据调取服务进行服务化包装,通过HSF服务的方式对外暴露,以减少多个系统直接操作数据库带来的问题,但数据本身的读取频率和并发度都非常高,QPS可以轻易达到10万以上。
3837 0
如何搭建阿里云RDS PostgreSQL数据库的逻辑备库
适用于PostgreSQL数据库之间的逻辑增量同步。 对PostgreSQL的版本要求,8.3以上即可。 最小的同步单位为行,用户可以选择表为同步对象,并且可以对表进行分组(有事务关联的表作为一个分组)。
1456 0
从运维的角度分析使用阿里云数据库RDS的必要性--你不应该在阿里云上使用自建的MySQL/SQL Server/Oracle/PostgreSQL数据库
开宗明义,你不应该在阿里云上使用自建的MySQL or SQL Server数据库,对了,还有Oracle or PostgreSQL数据库。 云数据库 RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务。
4454 0
【元气云妹】数据库RDS的连接方式
如何通过DMS和MySQL-Front客户端连接RDS实例
2164 0
阿里云数据库RDS vs 微软Azure数据库
现在国内可以选择的云服务器越来越多,之前搞到一台微软azure数据库,就搞了下测试,看这个azure跟阿里云RDS性能上有什么区别。
3968 0
菜鸟末端轨迹(解密支撑每天251亿个包裹的数据库) - 阿里云RDS PostgreSQL最佳实践
标签 PostgreSQL , PostGIS , 多边形 , 面 , 点 , 面点判断 , 菜鸟 背景 菜鸟末端轨迹项目中涉及的一个关键需求,面面判断。 在数据库中存储了一些多边形记录,约几百万到千万条记录,例如一个小区,在地图上是一个多边形。
4783 0
阿里云RDS金融数据库(三节点版) - 案例篇
标签 PostgreSQL , MySQL , 三节点版 , 金融数据库 , Raft , 分布式共享存储版 背景 土豆哪里去挖? 土豆郊区去挖。 一挖一麻袋? 一挖一麻袋。 挖掘机不仅是城市建设的必备法宝,居然也是挖土豆利器。
3535 0
阿里云RDS金融数据库(三节点版) - 性能篇
标签 PostgreSQL , MySQL , 三节点版 , 金融数据库 , Raft , 分布式共享存储版 背景 终于到了性能篇,三节点同时满足了企业对数据库的可用性、可靠性的要求,那么性能如何呢? 提到性能测试,我有几点一定要说明一下,很多朋友对性能的理解可能有偏差,那么如何评判性能
4783 0
文章
问答
来源圈子
更多
相关文档: 云原生数据湖分析
文章排行榜
最热
最新
相关电子书
更多
《阿里云数据库 MongoDB 专属集群版》
立即下载
阿里云MongoDB备份恢复功能说明和原理介绍
立即下载
云数据库MongoDB监控指标解读与关注
立即下载