《阿里云认证的解析与实战-关系型数据库ACP认证》——数据库生态工具—— 二、数据管理DMS

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 《阿里云认证的解析与实战-关系型数据库ACP认证》——数据库生态工具—— 二、数据管理DMS

1. 数据管理DMS简介

 

DMS是面向数据库开发者、数据开发者的一站式在线数据管理平台。

image.png

 

DMS全面支持阿里云几乎所有的数据源,提供了4个方面的管理能力:

 

数据资产与安全

数据库设计与开发

数据传输与加工

数据应用

 

2. 数据管理DMS企业级能力简介

 

一站式数据管理DMS提供了包含全域数据资产、数据库设计与开发、数据集成、数据开发、数据可视化及数据服务等能力。

通过内置阿里巴巴数据库研发规范及数据安全最佳实践,DMS可帮助企业实现高效敏捷、安全可靠的数据生产、处理及消费等一站式的体验。

 

1) DMS能力特点

 

a) 一站式数据管理平台

覆盖27种常见数据源

跨云/1DC支持多环境的数据源

覆盖数据全生命周期的所有管理功能

 

b) 全域数据资产

覆盖常见的数据存储搜索分析,轻松理解数据

 

c) 安全合规,大规模实践的安全能力

端到端数据安全治理能力,轻松应对合规认证

 

d) 实时批量一体化,23种数据源实时集成

基于数据库日志解析+分布式调度框架,实现秒级延迟的数据实时集成

 

e) 简单易用,零代码+E2E诊断

全图形化向导式,E2E自助诊断运维、数据血缘及变更联动降低数据处理门槛

 

f) DataOps高效敏捷

阿里巴巴规模实践的DataOps流程,实现数据开发加工的高效敏捷。

 

3. 数据安全能力架构与简介

 

1) 企业痛点

 

人员账号管理混乱

最小化权限授予原则难以保障

敏感数据需要有效识别、脱敏;合规审计支撑

image.png

 

2) DMS数据安全保障

 

a) 事前

企业域账号对接

数据自动分类、分级

细粒度权限分配

语法级安全规则管控

 

b) 事中(实时)

鉴权

脱敏(静态环境构建、动态实时访问)

性能安全拦截

语法规则拦截

 

c) 事后

全流水操作日志

基于人员的操作审计

基于数据库操作的操作审计

水印追溯(防泄漏)

 

3) DMS架构特点

 

a) 企业管理实时联动多

基于OpenAPI实践,可有效保障企业员工流转时,域账号及权限的全自动化管理,避免账号清理不及时潜在数据泄露风险

 

b) 法律法规覆盖

数据分类分级全面覆盖中华人民共和国网络安全法、GDPR、SOX、PCIDSS、HIPAA等法律法规。

 

c) 精细分类与脱敏

内置110+分类规则,即将拓展用户自定义识别:支持哈希、遮掩、替换、变换、加密等常用脱敏算法。

 

d) 合规审计支持

企业上市合规审计、常规内审等,基于DMS统一纳管可全方位支持人员权限、数据库变更与访问的详细流水审计。

 

4. 数据库DataOps能力介绍

 

1) 企业痛点

 

有哪些规范?规范在哪里?不同业务的规范怎么支持?如何保障规范的生效?研发效率怎么提升?

 

2) DMS数据库DataOps研发流程

 

a) 准备阶段

元数据自动采集

设计规范配置

研发流程配置

审批流程配置

 

b) 开发阶段

表结构设计

自助查询变更

SQL审核优化

测试环境构建

 

c) 发布阶段

无锁变更

研发规范监测并拦截

流程审批

变更异常回滚

 

3) DMS数据库DataOps能力特点

 

a) 丰富数据源

支持27种数据源,包括OLTP/OLAP/NoSQL/对象存储/数据湖:支持跨IDC云厂商数据源的统一管理。

 

b) 稳定可控

通过无锁变更、变更前备份及变更异常自动回滚等策略保障开发过程中,数据库稳定可控。

 

c) 安全可信

内置阿里巴巴最新研发规范,规避无主键等不合理设计带来潜在风险:目前支持200+设计及审核规范,可按需调整。

 

d) 敏捷高效

基于设计规范,研发人员全自助即可完成合规的数据库开发,非生产环境可做到免审批,仅生产环境需要审核。保障安全的同时,实现高效协同。

 

5. 数据开发能力中周期集成介绍

image.png

 

丰富数据源

支持27种数据源,包括OLTP/OLAP/NoSQL/对象存储/数据湖:支持跨IDC云厂商数据源的统一管理。

 

高性能

支持分布式集成架构,突破单机瓶颈。同时,提供限流手段,按需限流保护数据源。

 

运维简单

通过性能监控、端到端一键诊断功能及报警监控等策略,实现极低运维门槛。

 

灵活调度

可按需配置调度,最高调度周期可低至5分钟。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
5天前
|
存储 容灾 关系型数据库
PolarDB开源数据库进阶课11 激活容灾(Standby)节点
本文介绍了如何激活PolarDB容灾(Standby)节点,实验环境依赖于Docker容器中用loop设备模拟共享存储。通过`pg_ctl promote`命令可以将Standby节点提升为主节点,使其能够接收读写请求。激活后,原Standby节点不能再成为PolarDB集群的Standby节点。建议删除对应的复制槽位以避免WAL文件堆积。相关操作和配置请参考系列文章及视频教程。
17 1
|
5天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课5 在线备份
本文介绍了如何在PolarDB RAC一写多读集群中进行在线备份,特别针对共享存储模式。通过使用`polar_basebackup`工具,可以将实例的本地数据和共享数据备份到本地盘中。实验环境依赖于Docker容器中用loop设备模拟的共享存储。
19 1
|
5天前
|
存储 NoSQL 关系型数据库
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
17 0
|
5天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
28 0
|
5天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课14 纯享单机版
PolarDB不仅支持基于“共享存储+多计算节点”的集群版,还提供类似开源PostgreSQL的单机版。单机版部署简单,适合大多数应用场景,并可直接使用PostgreSQL生态插件。通过Docker容器、Git克隆代码、编译软件等步骤,即可完成PolarDB单机版的安装与配置。具体操作包括启动容器、进入容器、克隆代码、编译软件、初始化实例、配置参数及启动数据库。此外,还有多个相关教程和视频链接供参考,帮助用户更好地理解和使用PolarDB单机版。
17 0
|
5天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
15 0
|
5天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课7 实时流式归档
本文介绍了如何在PolarDB RAC一写多读集群中实现实时归档,确保WAL日志的及时备份。实验依赖于Docker容器和loop设备模拟的共享存储环境。通过配置主节点的`pg_hba.conf`、创建复制槽以及使用`pg_receivewal`工具,实现实时接收并归档WAL文件。此外,还提供了详细的命令行帮助和相关文档链接,方便读者参考和操作。注意:如果已搭建容灾节点,则无需重复进行实时归档。
10 0
|
5天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课2 创建容灾(standby)节点
本文介绍了如何在macOS中搭建PolarDB的容灾(standby)节点,作为“穷鬼玩PolarDB RAC一写多读集群”系列的一部分。基于前一篇通过Docker和loop设备模拟共享存储的经验,本文详细描述了创建虚拟磁盘、启动容器、配置网络、格式化磁盘、备份数据及配置standby节点的具体步骤。
14 0
|
5天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课12 集群版转换为单机版
本文介绍了如何将“共享存储实例”转换为“本地存储实例”,实验环境依赖于Docker容器中的loop设备模拟共享存储。具体步骤包括准备本地目录、停库、拷贝数据、修改配置文件并启动实例。通过这些操作,可以实现从共享存储到本地存储的平滑转换。相关系列文章详细记录了PolarDB RAC一写多读集群的搭建与管理,提供了丰富的实战经验。
14 2
|
5天前
|
关系型数据库 分布式数据库 PolarDB
PolarDB开源数据库进阶课1 搭建共享存储集群
在笔记本上构建PolarDB RAC环境,本文介绍了一种适用于Windows、macOS和Linux的方法:通过将宿主机上的文件模拟为块设备,并在多个Docker容器中使用loop设备共享该文件。此方法解决了macOS不支持直接挂载块设备的问题。
16 2

热门文章

最新文章

推荐镜像

更多