开发者社区> skin778> 正文

DLA支持分析MongoDB/RDS只读实例

简介: 在对Mysql,MongoDB等数据库系统进行分析时,经常面临的一个问题是在进行分析查询时如何避免对实时业务产生影响,也就是OLAP负载和OLTP负载隔离的问题。针对这个问题,阿里云数据湖团队一直在努力优化,提供满足不同场景的解决方案。
+关注继续查看

5-6-3.gif

作者:陆豪
在对Mysql,MongoDB等数据库系统进行分析时,经常面临的一个问题是在进行分析查询时如何避免对实时业务产生影响,也就是OLAP负载和OLTP负载隔离的问题。针对这个问题,阿里云数据湖团队一直在努力优化,提供满足不同场景的解决方案。

最近,我们支持了对MongoDB和RDS只读实例的分析,做到了完全不影响源库、数据完全实时,为对负载隔离有更高要求的用户提供了更好的选择。

场景分析

OLAP负载和OLTP负载隔离的问题,常常会和数据的实时性、成本等因素做权衡,综合考虑。过去,数据湖针对不同的隔离性要求和成本,提供过一些方案:

  • 针对直接查询RDS的用户,可以通过jdbc-scan-splits这个hint来调整SQL的并发度。用户可以根据业务的特点设置合理的并发度,控制OLAP查询产生的影响。jdbc-scan-splits关键字的用法参见帮助文档
  • 通过一键建仓功能在业务低峰期把数据拖到DLA,避免直接分析源库。具体介绍参见文章

但是,仍然有一些场景是这些方案覆盖不到的,例如:

  1. 一键建仓目前暂时不支持MongoDB。同样,MongoDB也不能使用jdbc-scan-splits这个hint。
  2. 以上提到的两种方法对源库仍然会产生一定的影响,如果业务没有明显的低峰,这种影响仍然不能忽略。
  3. 一键建仓不能满足对数据实时进行分析的需求。

考虑到这些因素,我们针对对分析的实时性有较高要求又可以接受一定的成本的用户,通过支持分析只读实例来实现OLAP负载隔离。这样我们就比较完整的支持了大部分场景:

分析方案 对源库影响 数据实时性 是否支持MongoDB 成本
直接查询源库 较大 实时 支持
一键建仓 较小 非实时 不支持 较低
查询只读实例 几乎无影响 实时 支持 较高

以下描述使用DLA分析MongoDB和RDS只读实例的具体步骤。

使用DLA分析MongoDB只读节点

添加MongoDB只读节点

MongoDB副本集实例在创建时可以指定只读节点的个数:
image.png
如果创建时没有选择只读节点,在创建之后也可以在实例基本信息页面添加只读节点:
image.png
添加了只读节点之后,可以在页面上看到只读节点的连接地址:
image.png
关于只读节点参见MongoDB帮助文档

创建数据库

CREATE DATABASE mongo_ro WITH DBPROPERTIES (
     catalog = 'mongodb',
     location = '只读节点连接地址,见上图',
     database = 'mongo_test',
     INSTANCE_ID = 'mongodb_instance_id',
     vpc_id = 'vpc-*******'
 );

只要这里的location写上MongoDB只读节点的连接地址,后续通过DLA进行的查询都只会连接MongoDB的只读节点。

使用DLA分析RDS只读实例

添加RDS只读实例

参见 RDS帮助文档,可以在实例详情页面右侧“添加只读实例”创建一个只读实例。
image.png
只读实例拥有独立的实例ID和连接地址:
image.png

创建数据库

 CREATE SCHEMA hello_mysql_vpc_rds WITH DBPROPERTIES (
   CATALOG = 'mysql', 
   LOCATION = 'jdbc:mysql://rm-******fofake.mysql.rds.aliyuncs.com:3306/rds_mysql_dbname',
   USER = 'rds_mysqldb_username',
   PASSWORD = 'rds_mysqldb_password',
   INSTANCE_ID = '只读实例ID',
   VPC_ID = 'rds_mysqldb_vpcid'
 );

这样,后续通过DLA进行的查询都会落在只读实例上面,不会对源库产生任何影响。

关于我们

数据湖分析Data Lake Analytics简介
欢迎大家使用数据湖分析(DLA),DLA不仅仅便宜,且快,且方便,专为阿里云数据湖分析方案而生

  • 支持自建、托管RDS、NoSQL、OSS(JSON、CSV、Parquet等格式)多种数据源分析
  • 支持按量 按照扫描量 的计费方式,准入门槛0元,提供的Serverless的弹性服务为按需收费,不需要购买固定的资源,完全契合业务潮汐带来的资源波动,满足弹性的分析需求,同时极大地降低了运维成本和使用成本
  • 平台底层托管大集群且自动弹性,在一定数据量情况下,分析性能比自建小集群高出400%
  • 支持一键 把 MySQL、PG、SqlServer、PolarDb数据库 拖到DLA,再分析,解决原MySQL不敢分析的问题。 DLA 分析性能TPC-H 10G情况 比原MySQL 8c16g 等高出10倍,数据量越大,MySQL性能越差,在1TB数据量下,原MySQL基本跑不出来
  • 产品文档:https://www.aliyun.com/product/datalakeanalytics
  • 帮助文档:https://help.aliyun.com/document_detail/70378.html
  • MySQL&PG&SqlServer一键同步数据到DLA:https://help.aliyun.com/document_detail/126559.html
  • 新客户1元试用:https://common-buy.aliyun.com/?commodityCode=openanalytics_post

图片.gif

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何创建云数据库MongoDB版实例?
本文将为大家介绍云数据库MongoDB实例的创建和开通流程。 登录控制台https://mongodb.console.aliyun.com/replicate/cn-beijing/instances,点击进入MongoDB的管理控制台。
959 0
西门子PLC200的modbus Slave库可以支持广播了
 西门子Micro Win4.0 竟然爆出了一个BUG,本来加密的西门子Modbus Slave库,在我一次偶然的改动下,亮闪闪的代码竟然呈献在我的面前。
520 0
微软轻量级系统监控工具sysmon原理与实现完全分析(上篇)
作者:浪子_三少 Sysmon是微软的一款轻量级的系统监控工具,最开始是由Sysinternals开发的,后来Sysinternals被微软收购,现在属于Sysinternals系列工具。它通过系统服务和驱动程序实现记录进程创建、文件访问以及网络信息的记录,并把相关的信息写入并展示在windows的日志事件里。经常有安全人员使用这款工具去记录并分析系统进程的活动来识别恶意或者异常活动。而本文讨论
1663 0
MongoDB · 特性分析 · Sharded cluster架构原理
为什么需要Sharded cluster? MongoDB目前3大核心优势:『灵活模式』+ 『高可用性』 + 『可扩展性』,通过json文档来实现灵活模式,通过复制集来保证高可用,通过Sharded cluster来保证可扩展性。 当MongoDB复制集遇到下面的业务场景时,你就需要考虑使用Sh
2694 0
【巡检问题分析与最佳实践】RDS MySQL 实例IO高问题
RDS MySQL的IO性能受到硬件层存储介质类型、软件层的DB内核架构、具体SQL语句扫描或修改数据量的影响。
450 0
DLA支持分析MongoDB/RDS只读实例
在对Mysql,MongoDB等数据库系统进行分析时,经常面临的一个问题是在进行分析查询时如何避免对实时业务产生影响,也就是OLAP负载和OLTP负载隔离的问题。针对这个问题,阿里云数据湖团队一直在努力优化,提供满足不同场景的解决方案。
933 0
ECS控制台实例支持批量加入多个安全组
当实例需要加入到多个安全组时,可以通过实例批量加入多个安全组的功能优化进行操作省时省力,话不多说进入介绍环节
2566 0
日志服务查询分析支持IP、域名、URL安全识别
日志服务依托全球白帽子共享安全资产库,提供安全检测函数,用户只需要将日志中任意的IP、域名或者URL传给安全检测函数,即可检测是否安全。
1902 0
+关注
75
文章
0
问答
来源圈子
更多
阿里云数据库:帮用户承担一切数据库风险,给您何止是安心!支持关系型数据库:MySQL、SQL Server、PostgreSQL、PPAS(完美兼容Oracle)、自研PB级数据存储的分布式数据库Petadata、自研金融级云数据库OceanBase支持NoSQL数据库:MongoDB、Redis、Memcache更有褚霸、丁奇、德哥、彭立勋、玄惭、叶翔等顶尖数据库专家服务。
+ 订阅
相关文档: 云数据库 OceanBase 版 可信账本数据库 云原生关系型数据库 PolarDB PostgreSQL引擎
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载