
暂时未有相关通用技术能力~
阿里云技能认证
详细说明产品介绍: 数据管理(Data Management Service,简称DMS)是阿里巴巴自研的数据库研发服务平台,支持超过23种数据库类型统一管理的webGUI,免安装、免运维,可帮助企业解决数据访问安全管控、提升企业的数据变更操作安全、提升企业的数据库研发效能。 DMS企业版从数据库访问安全诉求出发,解决人员访问数据库的权限细粒度管控需求。可支持库、表、字段、数据行级别,查询、导出、变更不同类型的组合管控。在下发数据库操作时,支持不锁表的大批量数据更新、不锁表的结构变更等高级特性满足业务在线运行期间的平稳变更诉求。针对不同操作不同数据库对象提供灵活的设计规范、研发流程、审批流程的制定支持,提升企业研发效能。 2009年起,DMS产品接管阿里巴巴内部数据库研发服务平台,提供统一管控服务。细粒度的权限管理,配合详细的操作日志支持各类审计诉求,安全可控的数据库变更自动化执行保障生产业务的高速发展,全自助的数据库研发流程提升业务研发效率、减少运维人员管控瓶颈。是阿里巴巴内部在线数据库管理的核心产品之一。适用客户: 国际站用户发布功能: 数据管理DMS企业版国际站商业化发布付费方式: 1)包年包月的预付费模式,按照实例数阶梯售卖US$16.00/月到US$13,930.00/月 不等产品文档: https://www.alibabacloud.com/help/doc-detail/47550.htm
信息摘要: 在预付费包年包月基础上,增加更灵活的后付费计费模式按量付费适用客户: 中国站所有数据库用户版本/规格功能: 新增按量付费形式,1.57元/天 到6.4元/天 不等;新的计费模式可以更灵活的支持用户在临时需要导出大量数据、数据追踪超过1天以上的数据等场景进行快速使用。产品文档: https://help.aliyun.com/product/26437.html
背景 在日常开发测试、项目发布、数据分析等工作中,我们需要大量接触数据库查询数据、查看表结构、设计表结构、变更数据、变更结构、审批工单等,DMS 作为企业内统一的数据库操作入口,之前提供的是网页形式的服务。 在使用上存在多个tab时定位到指定tab有一定的操作复杂度,容易造成开多个浏览器tab或者多个浏览器窗口等问题,桌面软件化服务的出现正式为了解决入口方便,更符合习惯桌面软件化操作的同学使用。在使用过程中可以快速定位到产品进行操作,且与浏览器其他操作相互不干扰。 以下为DMS桌面软件使用步骤: 使用步骤 mac 1.下载 DMS企业版桌面软件 for mac 版本 DMS客户端下载地址 2.本地解压文件 3.打开文件夹,双击“DMS企业版” 4.进入登录页面,默认为子账号登录页面;若您是使用子账号,直接在当前页面按需输入子账号登录信息,格式参考:子账号登录 5.若您使用主账号,从页面右上角切换为“使用主账号登录” 6.登录后的使用与原网页版行为完全一致 7.后续可以直接在程序坞中快速找到产品进如操作 win 1.下载 DMS 桌面软件 for win 版本 2.本地解压打开文件及后续操作有mac一致 更多详情前往:dms.aliyun.com 下载地址:DMS客户端下载地址
随着企业规模和人员扩充,您是否遇到这些问题:企业员工还在使用数据库账号直接操作数据库?人员流动导致运维人员频繁维护数据库账号密码?所有数据库变更还在等DBA集中执行,导致研发效率日益低下。 2月27日,阿里云数据管理DMS企业版针对DevOps和数据安全管理进行了年度重大升级,重点围绕数据安全、研发流程、研发规范、研发协同进一步升级完善,皆在帮助企业构建更安全、高效的数据库DevOps解决方案,彻底解决企业在数据库管理上的后顾之忧。具体更新包含数据库表字段自动识别打标分级、数据库规范灵活自定义、数据库研发流程灵活自定义等。 阿里云数据管理DMS是集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化、研发流程、研发规范、数据安全管控和服务器管理于一体的数据管理服务。 作为服务于阿里集团十余年的数据库服务平台的云上版本,积累了大量阿里集团的数据库DevOps运维管理经验。DMS支持MySQL、SQL Server、PostgreSQL、PPAS、Petadata、ORACLE等关系型数据库,DRDS等OLTP数据库,ADS、DLA等OLAP数据库和MongoDB、Redis、Memcache等NoSQL的数据库管理,同时还支持Linux服务器管理。 安全管理全方位升级 企业数据安枕无忧 纵观近年来国内外知名企业的数据泄露事件、拖库事件,不乏涉及大量用户的身份证号、地址、电话等多种隐私数据,这其中有部分是程序漏洞的原因给了黑客可趁之机、也有部分是人为管理上的诸多原因,到底是监管不够?还是企业数据安全建设的缺失亦或是其他?我们不得详情,但应用程序的健壮性建设是不可忽视的。与此同时,人员对数据库的安全使用管理,也是非常急迫需要去解决与保障的。 DMS企业版首页概览针对以上痛点,数据管理DMS企业版首先从以下四个方面入手,对人员访问数据库进行了严格、有效的管理:1、四层鉴权方可接触数据:云账号准入保障、企业用户准入保障、公司内网准入保障、细粒度鉴权保障。从而可避免不必要的数据库账号密码接触、避免不必要的数据库表对象接触、避免不必要的敏感字段内容的接触、避免离职转岗人员对在线数据的接触。2、行数、次数阀值限制有限接触:单次SQL执行返回行数、单个用户每天执行SQL次数、单个用户每天执行SQL返回行数上限全局管控,避免大量数据的无感流出。 3、SQL性能限制:单次SQL执行超时自动中断实例级别管控、单次SQL执行全表扫描表大小阈值全局管控,避免影响数据库性能。 4、操作审计:每一个操作完整记录随时可审计,帮助用户从容应对公司内外的所有安全审计需求。 此外,数据管理DMS企业版在高级版的基础上,增加了元数据管理,提供库、表、字段、行(特需)四种对象粒度,查询、导出、变更三种操作粒度的权限管控矩阵。支持企业按需灵活全自助定义研发流程与研发规范,可帮助企业快速搭建企业内专属的数据库DevOps解决方案。 同时,借助于数据保护伞,全方位升级后的DMS企业版可基于规则的字段命名分级打标、基于字段存储内容的分级打标,通过把身份证、账号、电话、地址等敏感信息打标为敏感、机密类型,这样即使无关人员拥有库、表权限,仍然不可接触此类字段的数据。 权限体系在本产品内闭环,普通用户无需接触数据库账号、密码; 运维管理不需要频繁到数据库创建与删除账号; 以字段级别屏蔽表上的敏感数据,避免不必要的查看。 “数据变更“场景分析 DMS企业版具有高安全性的数据变更功能,通过语法正确性、影响行数、语法类型、数据备份、数据库性能检测与缓冲,可充分保障数据库的数据安全和性能安全。安全规则的自定义则支持企业协同研发,以及研发规范、研发流程的灵活自定义,在提升研发效率的同时,降低研发成本。 DMS企业版DevOps升级 提升研发效能 值得一提的是,数据管理DMS企业版今年新增了界面化表结构设计功能,全面支持MySQL、DRDS、OceanBase三种数据库类型的在线可视化编辑管理表结构。企业可结合不同类型,按需制定最符合诉求的设计规范、设计流程,进行有效的变更管控。 同时支持MySQL类型引擎的不锁表结构变更,避免业务在结构变更期间锁表造成阻塞问题,业务在线服务不受影响。详情可前往了解:https://help.aliyun.com/document_detail/98373.html 点击观看DMS发布会→https://yq.aliyun.com/live/851专家解读产品年度升级,更有阿里云数据库实验室重磅亮相 DMS企业版超低门槛体验,了解更多产品特性,欢迎访问:https://promotion.aliyun.com/ntms/act/dmsenterprise.html
2月27日,阿里云数据管理DMS发布年度巨献——数据库实验室,用户可在该实验室环境下免费体验数据库引擎、以及DMS各项产品功能。数据库实验室是DMS所提供的体验空间,免费赠送数据库引擎资源。 用户只需要登录阿里云账号,即可开通使用各个已支持数据库引擎的全部产品功能,同时还将拥有如下权益: 免费256MB数据空间 免费体验DMS所有功能 未来将享有其他类型数据库免费体验资格 实验室直通车→https://dmslab.aliyun.com DMS数据库实验室可广泛用于高校课堂教学、实验。无论你是老师还是学生,均无需安装数据库便可拥有专属的数据库名字、专属的数据库空间,进行查询、建表、索引调优、表结构变更、测试数据自动生成、多数据库引擎对比体验等等。 阿里云DMS是集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化、研发流程、研发规范、数据安全管控和服务器管理于一体的数据管理服务。用户使用数据管理服务可以实现易用的数据库和服务器统一管理,让数据更安全、管理更高效、数据价值更清晰。 作为服务于阿里集团十余年数据库服务平台的云上版本,DMS积累了大量阿里集团的数据库DevOps运维管理经验。支持MySQL、SQL Server、PostgreSQL、PPAS、Petadata、ORACLE等关系型数据库,DRDS等OLTP数据库,ADS、DLA等OLAP数据库和MongoDB、Redis、Memcache等NoSQL的数据库管理,同时还支持Linux服务器管理。 从2014年在公共云开始孵化的DMS免费版,如今数据管理DMS已拥有高级版、实验室、企业版等多个版本,并获得了大量云上个人开发者与企业的认可。 DMS数据库实验室:为您提供免费、专属的全引擎数据库体验 实验室适用场景解读 1. 在校师生数据库教学:高校课堂教学、实验,学生可以无需安装数据库便可进行查询、建表、索引优化、表结构变更、测试数据自动生成、多数据库引擎体验等。2. 数据管理DMS购买前体验:个人开发者、企业用户期望在购买前了解数据管理DMS的各项功能,可以在实验室中提前体验。3. 云数据库引擎体验:免费体验阿里云数据库RDS、SQL Server等各种数据库引擎 目前DMS数据库实验室已支持MySQL 5.7和SQLServer 2012,接下来会支持Redis等其他主流云数据库引擎,未来还会持续拓展业界其他主流开源数据库引擎。当前只支持在线页面内使用各数据库引擎,未来也会考虑开放允许本地程序访问。详情请点击前往:https://dmslab.aliyun.com 专家解读产品年度升级,更有阿里云数据库实验室重磅亮相点击观看DMS发布会→https://yq.aliyun.com/live/851 DMS企业版超低门槛体验,了解更多产品特性,欢迎访问:https://promotion.aliyun.com/ntms/act/dmsenterprise.html
概述 阿里云数据管理DMS在云端可提供专业的数据库服务,除对标本地数据库软件的基础功能外,还包含性能诊断、数据追踪、跨实例SQL查询(含异构数据库类型之间)等专业性功能,同时提供审计安全和企业级数据库管理服务。 如果您的数据库在阿里云上均可享受这些服务,但在此之前,如果您的数据库在本地或其它云上,则无法免费享受这些服务。为满足自建数据库的管理诉求,主流所使用的解决方案如: 购买VPC专用网络,需要耗费大量成本,一般不适用于小企业或个人用户; 使用给数据库暴露公网端口的方式,这显然是极为不安全的做法,尤其是生产环境不能接受此类处理; 由用户自己做服务请求的转发,不但稳定性得不到保障,对于用户而言,门槛也很高。 因此DMS正式推出了:“数据库网关”服务,让您可安全、0成本地将本地数据库或其它云端数据库(包含本地IDC自建、其他云数据库、其他云服务器上自建的数据库)接入阿里云DMS,帮助用户打通云上云下资源,使用一套工具即可轻松实现数据库统一管理。从此您不必再担心因为给数据库开放公网端口产生的安全问题、维护成本等问题。 全新接入方案 1、架构图: (1)本地机房需安装一个数据库网关(1个互通的网络内仅需要安装1个网关)。(2)数据库网关所在机器通过访问公网的DMS Proxy建立连接,该连接将使用https进行加密。(3)云端DMS(及后续其它数据库产品)对用户进行鉴权后,访问到DB Proxy,DB Proxy再通过步骤2建立的加密通信连接访问到本地数据库网关,本地数据库网关再访问到您的具体数据库。 2、接入云服务方式对比: 3、实操接入,仅需四步: (1)添加网关:进入DMS控制台,从左侧:“网关配置”中进去,点击添加网关,如下图所示(一个网关可对应一个内部网络,一个网关上可以添加多个数据库地址): (2)下载网关程序:该程序由Java编写,可反编译进行Review代码,DMS承诺只提供云端您主动发起过的数据库操作。您可以直接点击下载安装包或拷贝wget命令到对应需要安装网关的机器上进行执行(请确保该机器事先安装JRE 1.7以上版本且能够顺畅地访问公网) (3)启动本地网关:下载后的网关程序解压,进入目录:dms-db-gateway/bin,该目录有2个文件:start.sh/start.bat(Linux和Mac使用start.sh文件,Windows使用start.bat),如下图所示: 此时本地网关如果启动成功,状态会自动更新,并显示“下一步”按钮。本地安装需输入一些阿里云的账号认证信息及随机验证码,便于确认本地网关由本人启动及后期的安全认证,请根据页面上具体的操作提示完成即可。 (4)向网关中添加数据库:一个网关可以添加多个数据库,本地启动后就可以开始添加了,填写的地址也是本地内网地址(即通过网关所在宿主机去访问数据库的地址),如下图所示: 接下来您就可以通过DMS控制台的“快捷登录->非阿里云库(自建IDC)”进行数据库登录了,也可以在“资源列表”页面登录这些数据库。同时,在这2个页面上可以继续添加本地数据库也可以。 补充说明:在这里添加的数据库本地数据库,可以在实例授权功能中,授权给子账号,与云上RDS的操作非常类似,后续还会提供这些资源的安全管控和审计等功能。 释放强大服务能力 数据库网关是DMS刚推出的新特性,支持的数据库种类和功能还需有更多提升,未来我们将从以下几个角度为大家提供更多的服务: 1、数据库类型增加: 目前仅支持MySQL数据库类型,后续将会逐步完善支持的数据库类型与阿里云上对齐。 2、功能增强: 目前还未支持性能诊断、数据追踪、跨实例SQL操作等功能,由于在新的技术架构下,这些功能还需进行兼容性处理。还将会为大家提供线上和线下数据资源的对比、迁移、同步、JOIN等操作。 3、相关数据库产品服务: 除DMS产品外,后期会有更多的数据库产品会通过该数据库网关访问本地数据库及其他云端的数据库,例如:企业级DMS、HDM等等,这将为您提供更强大的数据库支持能力。 总结 数据库网关接入后,您的本地数据库享受到阿里云上所提供的数据库产品服务,使得云上云下、跨云之间实现统一管理和自由的数据流动和合并。 详情可移步了解:https://help.aliyun.com/document_detail/102974.html 点击观看DMS发布会→https://yq.aliyun.com/live/851专家解读产品年度升级,更有阿里云数据库实验室重磅亮相 DMS企业版超低门槛体验,了解更多产品特性,欢迎访问:https://promotion.aliyun.com/ntms/act/dmsenterprise.html
前段时间,某酒店集团数据泄露引起轩然大波,泄露的数据中包含了用户姓名、手机号、邮箱、身份证号等多项信息。卖家对这个约5亿条数据打包出售价格为8比特币或520门罗币。 而关于此次信息泄露事件的原因,目前尚未定论。据悉,由于集团某程序员将服务器及数据库信息泄露到了Github,导致被黑客利用,通过弱密码攻击攻陷了酒店服务器和数据库体系。不过这一说法目前只是推断。 内部管控不严泄密加上黑客攻击成为了这场数据泄露事件的主要原因。外部攻击我们尚可加防,内部运维我们应该如何自防呢?在日常的数据库使用过程当中,运维人员在数据分析、线上问题排查、临时修正数据等多个环节均可直接接接触数据库中的数据,也就是说这些环节都有可能出现问题。 传统数据库安全管控方案漏洞频出传统的人为数据安全管控方案有两种,集权管理和分权管理。使用集权管理方案需要在业务代码使用账号之外,创建独立的读写账号、只读账号,只给与DBA、运维等特定的人员,但是这种方案的弊端在于,对于有些需要快速响应查看数据进行决策的场景,繁琐的步骤将直接影响研发效率。 在日常数据库使用过程中,应用代码的在线服务访问是最主要的一种方式,但人员基于数据分析、线上问题排查、新需求变更结构、临时修正数据等各种诉求也需要直接接触数据库。 如果采用分权管理,创建独立的读写账号、只读账号,分发到一线负责人,相较于集权管理,效率有一定的提升,但是接触数据库账号密码人员较多,人员变动时需要及时变更账号密码信息确保安全。 这两种方案不仅本身存在弊端,且在大批量管理时,实施难度也将成指数级放大。如此一来,企业还能如何避免人为因素导致的数据泄露事件发生呢? 阿里云数据管理DMS企业版针对此问题,提供了从访问源头开始防护的完善、成熟的数据安全访问解决方案。 DMS企业版高效保障数据安全,提升研发效率 与传统的数据访问方案相比,DMS企业版消除了人员瓶颈,在保障数据安全的前提下也兼顾了企业的研发效率。DMS企业版主要从访问和变更两个方面进行安全管控。 在访问方式上,区别于传统方案,无需直连数据库,只需提前录入需要管理的数据库实例、接触数据库的人员,当需要访问数据库、表的时候,可直接在产品内按需申请或由数据owner主动授权,具备权限后登录DMS企业版即可直接访问数据库,不再接触任何数据库的账号密码。 在访问权限粒度上也设定了相应的规范,若无对应权限则不可大量数据导出、不可提交数据变更(DML、DDL等)操作,避免了数据被大量泄漏。同时,DMS企业版支持了特有的字段级别权限管控,方便企业在身份证、银行卡、密码等敏感信息上进行精细化的管理。 DMS企业版对于保障访问性能安全也做了特别的处理,比如数据库级别阀值禁止全表扫描管控,当表空间大于一定值执行计划不走索引则禁止发起查询;用户级别单天查询行数、次数上限管控;产品内单次查询返回行数上限管控等,全方位保障访问安全。 变更安全管控主要加入了实例级别变更流程管控、任务调度负载管控以及数据变更update、delete默认备份前镜像,如果遇到异常情况可快速恢复,并且避免了元数据锁争用阻塞数据库、避免thread_running过高时调度加重负载。 除此以外,DMS企业版还提供了云账号准入、企业人员准入、企业内网准入三层登录安全保障;在开启内网准入(访问IP白名单)管控后,即使企业内人员变更流失账号未及时回收,但由于人员已不能再登录企业内网环境这无疑又是一道安全保障。 值得注意的事,在人员账号都精细化按需使用后,账号无共用,产品内人员的每一个操作都将可被溯源。公司内(尤其是上市公司)固定周期的操作审计将是重要的数据支撑来源。 数据安全任重道远数据安全任重道远,企业内数据作为一个企业的核心资产、赖以生存的命脉,数据安全是重中之重;也是最值得持续投入改进、不断加强的一个方向。DMS企业版将不断努力,助力企业完善数据安全管理。 最后附上【数据安全管理小建议】1)禁止弱密码的存在,即使生产服务使用的数据库账号密码如有可能建议定期更换2)禁止敏感信息的大量接触,敏感信息严格限制可接触人员3)禁止公开企业内数据库访问方式、服务器IP等敏感信息4)设置数据库服务器的可访问IP白名单,来源管控5)设置数据库账号的可访问IP白名单,来源管控 更多详情可移步:企业数据库DevOps解决方案
您想学习MySQL么?想了解阿里云么?想知道互联网大咖如何玩转阿里云数据库的么? 现在,福音来了,我们最新推出一款新产品:数据管理DMS-数据库实验室。您只需要登录一个云账号即可马上开启,不管你是初学者,还是一个资深DBA,数据库实验室都将向你展示神秘的阿里云数据管理的各种功能与便捷操作。 对于初学者,数据库实验室通过简洁的页面化操作完成所有数据库的操作,包括DML,DDL,DCL。同时也省去了复杂的安装过程,因为我们的实验室是WEB版的,数据库也是最新的RDS(包含MySQL、Redis、SQLServer、PostgreSQL、MongoDB等),让你从零开始学习数据库不是梦。 对于资深的DBA,数据库实验室更是简化了数据追踪,数据回滚、数据趋势、性能监控优化等运维管理操作,让DBA解放你的双手,更人性化的操作,更方便的管理,更安全的操作。 在这里你将得到以下能力: 1:免费的数据库空间(目前开放的为RDS-MySQL5.7,正在扩展SQLServer,其他一大波数据库引擎的各个版本的开放也已在路上) 2:数据管理DMS各项产品功能的免费体验 3:数据管理DMS各项产品最新功能的抢先体验 4:云数据库最新的各种新特性抢先体验 5:数据库引擎自有特性的完整测试、体验、学习与掌握 怎么样?觉得还不够?没关系,欢迎您来试用,对于数据库实验室的使用者我们有专业的DBA团队,数据库研发团队为您提供专业的支持。拥有它,你将得到更多便利,同时通过学习数据库的各项知识实际应用操作将更大的提升个人技术能力,公司实力也会得到更大的发展机会。 产品入口1:数据管理DMS-控制台 产品入口2:数据库实验室
信息摘要: DMS企业版蚂蚁金融云开服适用客户: 蚂蚁金融云用户版本/规格功能: DMS企业版入驻蚂蚁金融云售卖,支持蚂蚁金融云内的企业用户使用本产品的各项数据管理功能。支持DBA、运维人员对不同业务按照重要等级不同管控规则的梳理定义,完成了核心业务高安全流程、非核心业务轻流程的分级管控(研发可以自助的完成绝大多数DML、DDL的上线发布,当影响行数或表空间大于一定阀值DBA再参与审批提高上线安全性,所有操作都可以指定审批人员确保操作有人审批,权限按需申请并规范使用,审计日志随时可溯源提高安全性,支持多种数据库类型统一管理功能丰富)极大地提升了企业内的研发效率,同时又保障了企业内的流程安全、数据安全。 产品文档: 产品详情页:https://www.cloud.alipay.com/products/DM 产品手册:https://www.cloud.alipay.com/docs/2/57522
这些困扰你有吗? 研发 建个表还要等DBA,DBA可是稀缺资源啊,这个发布流程效率有点低呢===》提升研发效率 这个表测试环境我都变更好了,怎么就不符合规范要重新改呢?返工工作量很大啊 测试 这次研发又做了啥变更?测试环境已经是最新版本了吗?我是不是可以开始跑集成测试、性能测试了? ===》多套环境的结构一致性保障 这业务性能怎么压不上去啊,研发是不是又没加索引啊? DBA/运维 研发设计的又不符合规范!怎么才可以让研发提供的脚本一定符合公司的数据库设计规范呢?===》产品支持,避免反复人肉沟通,解放人力 人员变动频繁,设计规范宣讲了一遍又一遍,新人还是覆盖不到啊! 这么简单无风险的结构变更,能不能研发自己工单提交执行就好?DBA/运维的人力资源短缺啊! 管理者 这段时间哪些项目变更需求做了多少次结构设计变更啊? 这些变更都有相应的审批流程保障吗? DMS企业版-结构设计为你完美解决! 支持范围 目前仅支持MySQL数据库类型,其他数据库类型待拓展 支持能力 新建表、修改表 企业自定义设计规范 企业自定义变更发布流程 企业自定义不同环境的审批流程 关于自定义能力 产品内的管理员/DBA角色,可以按照自己企业所需制定符合本企业的研发设计规范、变更发布研发流程节点、审批流程等 详细参考帮助手册: 企业版-用户指南-结构设计 for 企业版内的所有用户 企业版-用户指南-结构设计规则配置 for 企业版内的管理员、DBA角色 更多功能等你来体验!如有任何使用上的困扰或者反馈,可随时联系我们。
信息摘要: 面向企业的数据库DevOps解决方案,旨在帮助企业安全、高效使用数据库 适用客户: 全网数据库用户,尤其是注重数据安全、研发效率的企业用户 版本/规格功能: 访问安全 1、人员账号与数据库账号解耦,员工使用个人账号登录(不再接触数据库账号密码) 2、按需控制库、表、敏感字段三种不同粒度的权限,查询、导出、变更三种不同类型的操作权限 3、按需不同实例、不同操作可定制化在线审批流程、审批节点参与人员 4、按需数据owner随时可管理目标库表权限开通情况进行回收与开通 5、详尽的操作日志审计,记录所有人员通过产品对数据库的所有操作随时可审计 6、人员账号可平行账号、可主子账号,开启访问IP白名单限制仅办公环境使用 7、SQL执行时长、大表扫描大小、单次查询行数、当天查询行数、当天查询次数阈值全局可控 变更安全 1、变更前检测数据库性能负载过高会暂缓调度再自动重试 2、SQL语法正确性、影响行数准确性校验保障 3、变更涉及数据记录行,默认备份生成全insert文本 4、变更执行中自动控制速率,避免性能抖动 研发效率 1、常用SQL语句,快速保存,快速执行 2、库表同步-表结构对比功能,让多套环境之间快速同步 3、多数据库类型同时管理,无需切换平台 4、员工全自助在线需求提交,在线响应,在线自动调度(可定时) 产品文档: 解决方案:https://www.aliyun.com/solution/dmsenterprise/index 帮助手册:https://help.aliyun.com/document_detail/57522.html? 产品规格:https://www.aliyun.com/price/product?#/dms/detail
数据管理DMS移动版-直达地址 对企业用户来说,主账号一般在有限的几位同学手中维护使用,普通员工如果需要登录数据库只能通过子账号登录阿里云后操作。 即2017年8月移动版第一期大版本发布,支持主账号通过阿里云移动APP登录数据管理DMS移动版之后,在2017年12月底移动版第二期大版本发布,增加了RAM子账号通过阿里云移动APP登录数据管理DMS移动版的支持。 操作步骤截图引导如下: 1.阿里云APP应用,进入“我的” 2.点击“登录”或点击“头像” 3.点击页面红框处的“RAM用户登录” 4.录入完整的登录用户名 5.进入下一步,录入子账号的密码 6.登录APP 7.进入“控制台”,找到“数据管理DMS”开始进行相关操作 8.若在控制台上未找到数据管理DMS,可以从“我的云产品”-编辑,找到进行添加 阿里云移动APP,请扫描二维码进一步关注使用:)
===》数据管理DMS移动版-直达地址 大家在PC端时已经体验了CloudDBA的相关功能,为适应大家移动办公的诉求。此次我们将PC端的功能精简移植到了移动版内,本次所有功能点对RDS-MySQL完美支持,对ECS自建库本次先增加了实例会话、实时性能与空间三大功能。 1.一键诊断,用户可以快速查看实例的基本信息、确认近一个小时内数据库性能趋势、会话情况、慢SQL趋势、空间使用情况等等。 2.实时性能,查看连接数、网络流量、QPS等信息 3.实例会话,展示目前数据库上的会话,并提供执行计划展示和SQL诊断服务。 4.空间,以图表形式展示数据库空间基本信息(数据空间、总空间),并提供空间增长趋势、预计可用天数、Top10表空间信息(占比、碎片率、明细)。 5.SQL,展示数据库近一周的慢SQL趋势,并以天为单位提供慢SQL汇总展示和诊断服务。 阿里云移动APP,请扫描二维码进一步关注使用:)
===》数据管理DMS移动版-直达地址 数据库实例授权给别人后,难以跟踪人员的操作行为怎么办?数据管理DMS移动版的审计功能,方便您随时随地查看数据库的登录和操作记录。汇总您账号下的实例登录和操作日志,为您找出TOP实例和用户,同时能根据操作类型进一步地筛选和查看日志详情。 1.RDS的资源owner,可以看到自己名下实例的访问情况汇总 2.查看某个用户登录具体实例详细信息 3.查看某个实例的登录详细信息 4.查看某个实例上的操作详细信息 5.查看具体某个SQL的执行详情 阿里云移动APP,请扫描二维码进一步关注使用:)
===》数据管理DMS移动版-直达地址 您是否有这样的烦恼:不想随身携带电脑,却又不得不随时响应,处理数据库问题?有了数据管理DMS移动版,轻松解决您的烦恼。只要带上手机,就能轻松修改的数据。 1.进入具体数据库实例选择具体表后:打开表,或者编辑SQL查询要修改的表数据。 2.长按要编辑的单元格,弹出编辑菜单。 3.在编辑框中修改数据,完成后关闭编辑框,自动生成变更SQL。 4.点击确认,提交SQL,数据就修改完成啦。 阿里云移动APP,请扫描二维码进一步关注使用:)
除本文介绍的几大巨献外,针对DMS企业版用户的另一大福音:工单的移动审批,也正在来的路上。如果大家对数据管理DMS移动版还有其他诉求或者好的想法建议欢迎随时反馈:) 手机移动端打开以下链接可直达实例列表:数据管理DMS移动版-直达地址 巨献一:便捷更新数据支持 您是否有这样的烦恼:不想随身携带电脑,却又不得不随时响应,处理数据库问题?有了数据管理DMS移动版,轻松解决您的烦恼。只要带上手机,就能轻松修改的数据。 详情移步:数据管理DMS移动版之2018新年巨献(一)便捷更新数据支持 巨献二:便捷操作审计支持 数据库实例授权给别人后,难以跟踪人员的操作行为怎么办?数据管理DMS移动版的审计功能,方便您随时随地查看数据库的登录和操作记录。汇总您账号下的实例登录和操作日志,为您找出TOP实例和用户,同时能根据操作类型进一步地筛选和查看日志详情。 详情移步:数据管理DMS移动版之2018新年巨献(二)便捷操作审计支持 巨献三:CloudDBA移动版支持 大家在PC端时已经体验了CloudDBA的相关功能,为适应大家移动办公的诉求。此次我们将PC端的功能精简移植到了移动版内,本次所有功能点对RDS-MySQL完美支持,对ECS自建库本次先增加了实例会话、实时性能与空间三大功能。 详情移步:数据管理DMS移动版之2018新年巨献(三)数据库性能服务CloudDBA 巨献四:子账号登录支持 对企业用户来说,主账号一般在有限的几位同学手中维护使用,普通员工如果需要登录数据库只能通过子账号登录阿里云后操作。 即2017年8月移动版第一期大版本发布,支持主账号通过阿里云移动APP登录数据管理DMS移动版之后,在2017年12月底移动版第二期大版本发布,增加了RAM子账号通过阿里云移动APP登录数据管理DMS移动版的支持。 详情移步:数据管理DMS移动版之2018新年巨献(四)子账号登录支持 阿里云移动APP,请扫描二维码进一步关注使用:)
MySQL的用户都面临都一个难题,异常或者故障问题难定位,很多时候都靠“猜”。 如果比较幸运,异常正在发生,我们还可以获取到会话、引擎状态等信息; 如果没有异常现场,要找到根因,除了慢日志、错误日志、性能监控外,可能就没有更多的可用信息帮助用户定位问题。 MySQL 从5.5版本开始,就出现了performance_schema,经过5.6版本和5.7版本的改进和增强,performance_schema提供了丰富的性能和诊断相关的信息。 DMS基于performance_schema,提供用户TOP SQL和全量SQL诊断功能,用户可以通过该功能快速的定位到异常SQL。 借助TOP SQL和全量SQL诊断功能,用户同时可以在以下三个方便获得收益: SQL列表 SQL列表展示了选定时间范围内每一类SQL的SQL文本、耗时比例、平均耗时、平均扫描行数、首次出现时间、最后出现时间等信息。 耗时比例=(该类SQL执行耗时 执行次数)/(所有SQL执行耗时 总执行次数) * 100% 所以耗时比例越高的SQL,基本上可以理解为占用MySQL资源越多的SQL,优化该SQL,可以获取的更高的收益比,以下图的场景为例: 前提条件 用户获取权限并已登录DMS控制台。 登录帐号需要performance_schema库的查询权限; 需要开启performance_schema; show variables like 'performance_schema';performance_schema=on; 如果处于off状态,需要在你的my.cnf文件中增加如下配置,然后重启生效; [mysqld]performance_schema=ON 开启statment_digest update setup_consumers set ENABLED='YES' where name='statment_digest'; 开启events_statements_history update setup_consumers set ENABLED='YES' where name='events_statements_history'; 建议开启events_statements_history_long update setup_consumers set ENABLED='YES' where name='events_statements_history'; 背景信息 目前暂时仅支持自建数据库 MySQL 5.6.24以上版本。 开启performance_schema约有10%左右的性能消耗; DMS读取performance_schema的数据可能会产生公网流量; 操作步骤 登录DMS控制台——>选择MySQL数据库——>选择“性能”菜单——>点击“全量SQL诊断” 详细操作步骤如下: 登录DMS控制台后,界面如下图所示: 选择MySQL数据库,并单击登录数据库按钮进行登录。 如下图所示,在顶部导航栏菜单中,选择性能>全量SQL诊断;
数据库性能诊断和优化是提高数据库性能和稳定性的关键技术之一。快速的发现异常、定位根因并且进行止损,是每个用户的需求。 数据管理DMS 增强了对SQL Server 2008 R2 性能优化服务的支持,希望可以帮助用户更快速的定位问题和解决问题。 功能说明 性能趋势 性能趋势提供SQL Server 核心性能指标的关联查看功能; TOP SQL 等待事件 会话 空间 SQL 优化 前提条件 用户获取权限并已登录DMS控制台。 背景信息 目前暂时支持云数据库 RDS Microsoft SQL Server 2008 R2。 本期提供的TOP SQL、等待事件等模块暂未提供趋势查看功能,后续版本会进行支持。 功能入口 登录DMS控制台后,界面如下图所示:  选择MySQL数据库,并单击登录数据库按钮进行登录。 如下图所示,在顶部导航栏菜单中,选择性能,用户可以点击进入,查看详情:
发福利!发福利!发福利!杭州云栖大会视频地址: 企业级数据库最佳实践(上半场) 企业级数据库最佳实践(下半场) 阿里数据库内核 本文内容在企业级数据库最佳实践(上半场)中。 DevOps已不再陌生,但目前业界主要集中在开发与运维的高效协作和快速发布上,而作为企业核心资产的数据库,其结构设计、SQL审核、变更发布已成为企业效率提升的主要瓶颈,这篇文章将详细介绍阿里在数据库DevOps上遇到的挑战以及解决方案。 1、阿里数据库DevOps是什么 一句话定义: 阿里数据库DevOps是以数据库产品为核心,促进数据库研发自助化,提升研发效率,同时保证员工数据库访问安全及数据库高性能。 阿里数据库DevOps由3款产品组成,分别是阿里企业级数据管理服务iDB、数据库智能优化服务CloudDBA、阿里企业级数据库管控服务DBPaaS,本文会重点介绍阿里企业级数据管理服务iDB。 2、我们的挑战 近10年,阿里研发人数从几百人扩展到几万人,与此同时,不断对数据库服务提出挑战。回顾阿里数据库服务发展历程,包含以下几个阶段: · 2010年前,数据库账号直接开放给开发,自由查询数据 · 2010年,为了解决数据查询安全问题,全面回收数据库账号,只能DBA查询数据 · 2011年,为了解决数据查询低效问题,iDB1.0发布,开发在WEB平台上自助查询数据,但此时数据库变更尚需邮件提交给DBA · 2012年,为了解决数据库变更沟通问题,iDB2.0发布,数据库变更可以在线提交汇总,同时结构设计规范也可以自动应用到开发数据库设计中,但此时数据库变更还只能DBA执行 · 2013年,为了解决数据库变更低效问题,iDB3.0发布,开发可以自助执行数据库变更 · 2014年,为了满足阿里云用户对数据库管理安全、效率的需求,阿里云数据管理DMS发布,定位于个人数据管理云服务 · 2015年,为了解决阿里业务暴涨DBA支撑瓶颈问题,iDB4.0发布,第一次做到数据库研发全自助 · 2016年,为了解决业务数据库性能问题,数据库智能优化服务CloudDBA发布,定位于用户身边的数据库专家 · 2017年,为了将多年实践/经验/沉淀分享给更多人,阿里云数据管理DMS企业版(iDB对应云上产品)发布,提供完整的数据库研发全自助流程、企业级数据库安全管控等服务 今天,我们(准确说是我们的产品)要解决阿里20,000开发人员高效的结构设计、SQL审核和变更发布,要解决每周上万条SQL发布无慢SQL漏网,要解决每周百万次数据查询分析的权限控制和操作审计,因此在效率、性能和安全上,阿里数据库DevOps正面临巨大挑战。 3、解决方案 当你感觉痛苦的时候,正是你成长的时候,阿里数据库DevOps应运而生。 效率 数据库效率最终衡量体现在发布效率,而在发布前面还有结构设计、SQL设计、测试数据构建、库表同步、结构审核、SQL审核等工作,数据库发布自身也会细分成结构变更、数据订正和分库分表发布等。 阿里数据库DevOps在效率上的解决方案:全自助的数据库研发流程,覆盖上述数据库发布涉及的全部工作,如30+结构设计规范自动应用到开发结构设计中、多人设计冲突检测和DDL溯源、多环境的库表同步、百万级测试数据自助生成等等,最终让DBA无需参与具体项目的设计和评审,将主要精力投入到对业务架构理解,更加全局的看待业务和数据库的关系,促进企业效率最优。 效率解决方案涉及功能太多,这里仅以分库分表发布为例,希望大家能对全自助的数据库研发流程有所了解: 如果选择MySQL作为数据存储,随着业务增长,大多数企业都会遇到单表容量瓶颈,其中大表DDL性能问题最为严重。业界普遍解法是将单表拆成分表,分库分表使得容量不再是瓶颈,但给维护管理带来很大挑战。 面对1024、4096个分表,如何加字段就是首要解决问题,经常遇到执行过快导致性能卡顿、一次性全量执行风险不可控、异常任务中断等一系列问题,最终让分库分表方案实际效果大打折扣。 阿里数据库DevOps在物理分库分表基础上封装出逻辑库、逻辑表,所有DDL都在逻辑库、逻辑表上操作,而在物理分库分表上的具体执行动作由产品来保证,目前可以做到数据库锁检测、实例/库级并行、自动灰度、执行限速、任务暂停重试等细粒度控制。 性能 数据库性能,抛开数据库类型/版本选择、内核优化、硬件选型等方面,我们看到对业务感知最明显、最关注就是SQL(准确说是慢SQL),如何从根源上解决慢SQL,而不是每次出问题时救火,是阿里数据库DevOps一直努力的方向。 在一条SQL被设计出来,到其成为慢SQL前,它需要通过审核,这时开发提交SQL审核后,会自动抽取SVN/GIT代码中SQL并识别变化部分,这时阿里数据库智能优化服务CloudDBA会对有变化的SQL进行诊断,先基于规则对select *、动态SQL等给出审核建议,然后对通过规则校验的SQL进行优化,给出索引建议,整个SQL审核流程由产品完成,开发最终会看到SQL审核报告,包含SQL改写建议、索引建议。 在大多数业务场景中,一次性优化相对容易些,如何做到持续优化?这就需要我们的优化流程能做到闭环,自动打通从采集->分析->建议->采纳->跟踪->评估整条链路,而不是靠DBA人肉串联。 数据库性能话题很大,比如上面提到的SQL上线前审核和优化闭环,还有运行中SQL优化、空间优化、锁优化、全量SQL、性能成本度量等等方面,我这里不做展开,大家可以在阿里云数据管理DMS数据库优化服务(入口:DMS登录数据库-性能)找到你需要的答案。 安全 在数据库领域,可以说数据安全是一切的基础。而大多数企业数据库都会存在以下几种数据安全风险: · 应用访问 · 主机访问 · 数据仓库 · 备份 · 员工访问 在企业初期,往往会关注在前四种的安全防护上,而忽略人的因素,但随着员工增多、角色增多,员工访问数据安全风险日益突显,而员工访问数据安全正是数据库DevOps要解决的重要课题。 阿里数据库DevOps从以下5大方面解决员工访问数据安全: · 查询管控 · 变更管控 · 权限管控 · 数据分级 · 安全审计 每个大方面又细化出很多功能点,如权限管控就包含库/表/列细粒度控制、物理库/物理表/逻辑库/逻辑表权限、查询/导出/变更权限分类、到期提醒回收等功能点。 4、云上:数据管理DMS 上面介绍的阿里数据库DevOps,对应到云上产品:阿里云数据管理DMS。 数据管理DMS产品架构如下: 从产品架构图上可知, 数据管理DMS提供了企业版、高级版、免费版和移动版。 其中,阿里云数据管理DMS企业版为每个企业构建独有的数据库管理系统,包含每个企业独有的员工信息、流程、规则和元数据,如果企业研发人数大于20人,强烈推荐使用。 如果你是个人、创业团队或者小企业用户,我们推荐 阿里云数据管理DMS高级版,让你访问云端数据更安全。 另外,数据管理DMS最近还添加了新成员:移动版,一期支持云端数据管理,后续还会支持数据库诊断优化、数据库研发流程以及自建IDC数据库。 5、期待你的加入 10年走来,我们已经看到企业级数据库服务的未来,欢迎越来越多用户使用我们的服务,同时也欢迎越来越多伙伴加入我们,因为还有太多领域需要我们去深耕。 数据库产品专家/高级专家 企业级数据库产品 分布式数据库产品 BI数据分析产品 研发专家/高级专家 Java后端开发 前端开发 移动端开发 作者简介:衡铁刚(佩恩),阿里数据库产品专家,负责阿里云数据管理DMS产品设计,先后从事过运维DBA、淘宝DBA等工作。
三大难点问题 使用MySQL数据库的用户,不可避免都会遇到下面三个难题: 1、历史问题难定位 数据库凌晨3点发生了CPU 100%的告警,但是该时间段却没有任何慢SQL,怎么继续查找原因? 2、SQL压测模版难获取 下周要进行大促压测,DBA只能找业务方一个个的收集SQL模版、执行频率,这种方式效率低,并且无法保证正确性; 3、慢SQL是否要优化不是所有的慢SQL都需要第一优先级优化,用户迫切需要知道数据库上哪些SQL最消耗资源,优化这些SQL,才可以提高实例的稳定性; 全量SQL诊断可以快速的解决上述问题。 重要功能简介 执行耗时分布 如果一个实例的“执行耗时分布”越接近蓝色,代表这个实例的SQL健康情况越好,越接近橙色和红色,代表这个实例的SQL健康情况越差。 “执行耗时分布”展示了选定时间范围内,所有SQL的执行耗时分布,将执行耗时分为了7个区间,每分钟计算一次,分别是: [0,1]ms 满足0ms ≤ 执行耗时 ≤ 1ms SQL执行次数占比 (1,2]ms 1ms < 执行耗时 ≤ 2ms SQL执行次数占比 (2,3]ms 2ms < 执行耗时 ≤ 3ms SQL执行次数占比 (3,10]ms 3ms < 执行耗时 ≤ 10ms SQL执行次数占比 (10,100]ms 10ms < 执行耗时 ≤ 100ms SQL执行次数占比 (0.1,1]s 0.1s < 执行耗时 ≤ 1s SQL执行次数占比 >1s 1s < 执行耗时 SQL执行次数占比 例如 :2017-10-12 19:15:00 该实例 执行耗时在[0,1]ms的SQL执行次数占比是80%;执行耗时在(3,10]ms的SQL执行次数占比是13.33%;执行耗时在(0.1,1]s的SQL执行次数占比是6.67%。 执行耗时(SQL RT) 通过执行耗时,可以方便的查看在选定的时间范围内,每一分钟 SQL的执行耗时。 SQL列表 SQL列表展示了选定时间范围内每一类SQL的SQL文本、耗时比例、平均执行耗时、返回行数等信息。 耗时比例=(该类SQL执行耗时 执行次数)/(所有SQL执行耗时 总执行次数) * 100% 所以耗时比例越高的SQL,基本上可以简单的理解为占用MySQL资源越多的SQL,优化该SQL,可以获取更高的收益比,以下图的场景为例: 红框圈定的SQL,平均耗时是67.78ms,执行次数43次,所以耗时比例是67.18%; 黄框圈定的SQL,虽然平均耗时达到209.99ms,但是因为执行次数只有一次,所以耗时比例只有4.84%; 所以在业务模型没有变化的情况下,优化第一条SQL,可以更好的降低实例的资源使用,提升实例的稳定性; SQL明细 点击SQL ID,可以查看该类SQL执行计划、性能趋势、SQL样本: 前提条件 用户获取权限并已登录DMS控制台。 DMS 全量SQL诊断功能目前不会进行收费,但是使用该功能的前提用户需要开启SQL审计,该功能是收费功能,计费标准。 背景信息 目前暂时仅支持云数据库 RDS 版 MySQL 实例(暂不支持MySQL 5.7)。 操作步骤 登录DMS控制台——>选择MySQL数据库——>选择“性能”菜单——>点击“SQL趋势”——>点击“全量SQL诊断” 详细操作步骤如下: 登录DMS控制台后,界面如下图所示: 选择MySQL数据库,并单击登录数据库按钮进行登录。 如下图所示,在顶部导航栏菜单中,选择性能>SQL趋势:
数据管理DMS企业版地址:https://dms.aliyun.com/ 阿里云数据管理DMS 企业版已于2017.7.18正式发布,一期我们提供MySQL、ORACLE、SQLServer、PostgreSQL、Mongo这几种数据库类型的数据管理服务,支持RDS、ECS自建、其他公网自建类型,支持经典网络、VPC网络,提供实例管理、用户管理、任务管理、安全规则、操作审计、权限管理、数据查询、数据变更/数据订正、数据导出、库表同步、SQL审核/sqlreview等功能。 DMS企业版在集团内部产品代号为iDB,是阿里巴巴集团从2010年开始逐步积累迭代出来的研发全自助数据库服务平台。 从最初解决数据安全访问诞生一个简单的查询页面(2011,iDB1.0时代-提升数据安全),到解决变更在线提交、满足既定设计规范的研发全自助线下表结构设计(2012,iDB2.0时代-解决变更在线化),再到sqlreview、研发有限自助变更线上、DMS个人版的上线(2013-2015,iDB3.0时代-提升研发效率),再到规则引擎、工作流引擎、任务调度引擎、CloudDBA、研发全自助变更(2016,iDB4.0时代-灵活、智能管控最大化提升研发效率); iDB在阿里内部不断完善,服务于内部几万用户每天各种各样的数据库研发使用的同时;2017年产品提出正式云化为云上广大中小企业提供成熟的企业数据库管理服务。 我们的目标是: 赋能研发全自助的数据库研发设计能力,提升企业的研发效率(不再因为集中管控人员瓶颈导致项目延期);在满足既定规范内全自助设计与变更,同时辅助CloudDBA性能诊断与优化让研发主动优化改造问题SQL、回收碎片空间、建立合适索引、删除无效索引提升研发的数据库专业技能 解放传统DBA的人肉操作,使其可以将精力转向诸如数据库架构设计等领域深挖;管理员、DBA轻松管理全局,只需要事先制定研发设计规范、研发流程即可轻松管理大批量实例的使用 数据分级、权限管控、操作审计、安全规则、访问IP白名单等一系列解决方案进一步提升企业的数据安全 以下是产品内部分主要功能的详细讲解介绍: 普通使用 权限管理 支持库、表、列三种对象粒度申请,列是指表上打标为敏感或机密的字段(即数据分级管控) 库权限包含有库下所有表含后续新增表的非敏感机密字段的权限 表权限仅包含表上非敏感机密字段的权限 权限申请对应的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 支持查询、导出、变更三种权限类型申请导出、变更,是指可以提交对应的工单;并非直接执行对应操作 支持指定有效期,到期自动失效 数据owner可以随时查看对应库、表的权限开通情况进行回收或者追加授权 申请者本人也可以随时查看所开通权限情况进行主动释放或者续期申请 数据查询 开通“查询”权限后可以进行对应库、表的结构、数据等进行查询 全局单次查询返回行数有上限限制(默认200,由管理员按需调整;但不建议过大,过大可能会造成页面卡顿) 每人每天查询返回行数有上限限制(默认20000,由管理员按需调整) 每人每天查询次数有上限限制(默认2000,由管理员按需调整) 实例级别可指定查询超时时间(默认60,由管理员、DBA按需调整) 全局禁止大表全表扫描查询(默认10G,由管理员按需调整) 允许执行的SQL类型由管理员、DBA在【安全规则】按需实例级别进行指定配置 查询已经显示在页面的结果可导出excel、txt或insert脚本格式 逻辑库下对逻辑表配置路由算法可自动路由查询返回结果 数据变更/数据订正 开通“变更”权限后可以进行对应库、表的结构与数据等进行变更 工单提交时 会校验语法正确性(不正确则阻断不能提交) 会校验影响行数(可以与预期影响行数进行对比,不一致场景要注意SQL逻辑是否正确书写) 工单执行时 支持立即执行、指定时间执行(定时调度) 支持工单级别开启事务(不开启默认串行执行,遇到失败则终止不回滚;开启则遇到失败会全部回滚) 支持备份(默认开启,对update、delete语句影响的整行记录进行insert脚本的全备;如果变更不符合预期时可快速download附件进行恢复操作) 允许执行的SQL类型、不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 安全管控 串行调度:多人同时发起同一个实例的不同变更需求时,串行调度避免任务造成过大负载影响业务正常运行 并发检测:执行任务前会探测目标实例的繁忙程度,活跃会话超过指定阀值则退出休眠5秒再重新尝试;重试5次仍然繁忙则退出失败 执行间隔:每个SQL执行完根据SQL类型以及影响行数进行对应的间隔再调度下一条SQL,防止主备复制延迟 锁检测:在执行DDL语句时还会额外检测元数据锁,设置获取等待时长超过则重试直至获取到才执行DDL语句;重试5次仍然繁忙则退出失败 数据导出 开通“导出”权限后可以进行对应库、表的数据等进行导出 工单提交时 会校验语法正确性,仅支持select(不正确则阻断不能提交) 会校验影响行数(可以与预期影响行数进行对比,不一致场景要注意SQL逻辑是否正确书写) 工单执行时 可选择excel、csv、insert脚本三种格式 默认按照数据库字符集导出,部分场景库表字符集不一致可以指定表的字符集避免乱码 审批通过后24小时内要完成导出,24小时内可反复导出 导出成功后可直接下载最后一次成功的结果集(下载文件距离最后一次导出时间必须是一个月内) 不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 库表同步 开通源库的“查询”权限、目标库的“变更”权限后可以进行对应源库与目标库表结构的对比与同步 支持结构同步、空库初始化、表一致性修复三种常见场景 结构同步:源库表、目标库表,对比进行新建表或者修改表达到与源库表一致结构(表数量1:1对应)适用于测试环境变更同步到其他环境,如生产环境发布等 空库初始化:将源库表结构完整拷贝至目标库适用于多套环境的搭建,如测试环境搭建等 表一致性修复:将源库表、目标苦逼,对比进行新建表或者修改表达到与源库表一致结构(表数量1:N对应)适用于分库分表场景下,分表结构一致性的保障check 不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 SQL审核/sqlreview 开通“查询”权限后可以进行对应库表代码内增删改查访问SQL进行审核 审核的是增删改查的SQL,非DDL语句 主要审核SQL语法书写是否正确、合规 不通过场景:存在`select * `、动态SQL、SQL注入写法 通过场景:SQL语法正确并且执行计划可以走上索引、执行计划走不上索引(会主动建议添加合适的索引,确保每个经过审核后上线的SQL都能有索引可走) java语言:支持Ibatis、Mybatis两种格式的附件 其他语言:需要将代码中的增删改查SQL按照模板整理后提交附件 不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 属于应用发布前的事前管控,限制选择的数据库是非生产环境(测试阶段结构已经变更,但线上结构是发布后才变更的) 系统管理 实例管理 目前支持类型 支持MySQL、ORACLE、SQLServer、PostgreSQL、Mongo几种数据库类型 支持RDS、ECS自建数据库、其他公网自建数据库 支持经典网络、VPC网络 实例级别灵活设置进行管理:查询超时时间、导出超时时间、运维负责人/DBA、【安全规则】 默认会在注册时自动采集实例上schema、表、字段、索引等相关元数据提供普通使用的权限管理及数据分级依据,也可以主动触发增量的同步 对于不需要使用的实例可以进行禁用或者删除:如大促期间禁用某个实例避免非生产服务压力 在授权后,可以自动同步当前账号下购买的rds实例列表;但正式使用需要完善相关信息测试账号可用后进行保存 与所有传统工具不一样,管理员一次录入后所有用户通过产品内各模块权限管控访问数据库表;所有用户不再接触数据库账号密码,即使人员流动账号也没有频繁修改更新的烦恼 用户管理 目前支持阿里云平行账号、主子账号两种形式 对于主子账号,在主账号作为管路员时可以一键同步所有关联的子账号 对于不需要使用的账号可以“禁用” 任务管理 所有从普通使用各个模块产生的变更SQL任务均会记录在此模块 管理员、DBA也可以直接对目标库表进行SQL变更(DML、DDL)任务的部署,区别在工单提交有对应流程审核管控;后台部署因为人员有限可控所以无流程管控 任务的执行的安全管控策略,同【数据变更/数据订正】的“安全管控”一致 安全规则 由审批节点、审批流程线、安全规则依次组成 审批节点:默认的有管理员、DBA(跟随实例走)、数据owner(跟随数据库、表走)三个节点,其他可以按需自定义;如安全管理员、测试负责人、研发负责人等 审批流程线:默认有5个组合好的流程线,单向逐一通过处理;同一个节点多个人时任意一个审批通过即通过 安全规则:默认有3个组合好的安全规则,高、中、低;可以按照业务实际需要组合新的安全规则或调整已有规则的审批流程达到根据不同的业务重要程度及所处阶段灵活管控不同的变更需求 操作审计 平台上产生的所有用户操作都会详细记录,管理员可以便捷的查看、溯源 某个用户某段时间做了哪些操作、针对某个模块做了哪些操作等 某个数据库、表,在某段时间被做了哪些操作、在某个模块内做了哪些操作等 访问IP白名单 对于每个企业都是独立的一套企业版部署,管理员在加入企业的员工、企业的数据库后,可以决定是否开启访问IP白名单限制限制:仅在指定的服务器ip发出的请求才能登录使用DMS企业版,对于企业宽带运营商有固定的ip出口,可由管理员进行配置 在访问安全上DMS企业版做了四层管控: 1)阿里云账号、密码正确性校验 2)DMS企业版对应本企业员工校验:确保本企业员工才可使用 3)DMS企业版访问IP白名单校验:确保办公网内才可使用(规避员工流失未及时清理禁用账号的潜在风险、员工账号被外部非法盗用的潜在风险) 4)目标库表操作权限的校验(产品内体系化保障,规避员工接触数据库账号密码要频繁变更维护的风险与投入) 在以上这些主要功能之外,我们也提供如owner管理、代码生成器、配置管理、我的SQL、逻辑库逻辑表等诸多功能服务。 入口: 数据管理DMS企业版地址:https://dms.aliyun.com/
阿里云数据管理DMS 测试数据构建功能(试用版)已于9月底发布,目前试用版支持MySQL数据库,提供随机、自定义、逻辑依赖、枚举4种生成方式,如姓名、手机号、邮箱等常用数据类型都可以直接生成,全程UI点击完成,测试数据直接入库,每分钟生成百万行数据;另外,第1个版本仅仅是试用版,后续还会提供更多、更强大的功能,如支持多表依赖,数据生成感知多表之间依赖关系,另外还会支持更多自定义数据类型,包含货币、街道地址、URL地址、文件路径等,测试数据构建生成模拟数据,而非真实数据。 功能部分截图: 为什么需要测试数据? 也许之前简单插几条数据也能做功能测试,删掉唯一索引再插入10万行重复数据也能做性能测试,但这样的测试环境与真实生产环境差别很大,边界数据覆盖不足、数据分布偏离真实等问题尚未解决,导致部分问题无法在测试环境发现,于是将坑留给生产环境,现在通过DMS测试数据构建,无需编程,UI点击完成数据生成,并直接插入数据库,每分钟能生成百万行真实数据,无论是随机数据,还是姓名、邮箱等常用数据,或是依赖其他列数据,都可以在DMS中快速完成。
阿里云数据管理DMS 移动版已于2017.8.31正式发布,一期提供RDS MySQL和ECS自建MySQL的数据管理服务,提供实例列表、库/表/列管理、SQL查询、实时性能、实例会话和审计等功能。 部分功能: 实例列表 在阿里云账号登录情况下,用户实例会自动同步到“实例列表”,无需手工录入 “实例列表”支持MySQL、SQL Server、PostgreSQL、PPAS、Redis、MongoDB、OceanBase、PetaData实例信息展示,另外,一期登录数据库仅支持MySQL,支持RDS和ECS自建库 接下来,会支持用户IDC自建库,同时会扩展登录数据库类型 实例概览 提供实例资源规格、当前使用量、使用百分比信息,资源运行状态一屏掌控 提供实例名、实例连接串、登录数据库账号等基本信息 实时性能 提供连接数、网络流程的实时监控,随时随地掌控性能变化 接下来,会增加QPS、SELECT/INSERT/UPDATE/DELETE等指标 实例会话 展示实例上运行会话信息 提供一键kill会话功能,实时处理连接数飙高问题 SQL保存与PC端协同,移动端上可直接查看已保存SQL,免去移动端SQL输入不便的问题 SQL执行 支持多条SQL批量执行 SQL结果集支持横向拖拽,对查看多列数据非常方便 “PC客户端” 到 “WEB端”,再到“移动端”,不是简单的功能平移,而是打破重构,不论是产品设计,还是技术架构。 来自一线研发同学@君鹏的技术总结: 后续计划: 入口1(阿里云APP 扫一扫): 入口2:阿里云APP-控制台-数据管理DMS
数据管理DMS for 万网版V3.0.0发布,支持数据导出、数据库会话管理、库表空间查看、E-R图。 1、导出 整库导出 多表/单表导出 SQL结果集导出 2、实例会话 数据库活跃会话展示 异常会话杀死 问题SQL优化 会话分类统计 3、表数据量统计 数据库 表名 存储引擎 行数 行长(byte) 数据 索引 全部 创建时间 字符集排序规则 4、E-R图 选择DB:可切换数据库 排序:排序选项下拉菜单可按表名升序、关联数降序、字段数升序、字段数降序排列表 刷新:可刷新当前E-R图 查看SQL脚本:可查看当前数据库下所有表的建表SQL 下载SQL脚本:可下载当前数据库下所有表的建表SQL 下载XML文档:可将当前数据库下建表SQL转成XML文件
古语云,常在河边走哪有不湿鞋,天天和数据打交道,难免有不走运的时候。 数据管理DMS发布数据追踪功能,基于对数据库日志分析,提供库/表/列维度的日志变更查询,你可以找到哪个值何时被修改,并通过生成的回滚语句进行数据恢复。 现在用1首歌的时间学个技能,下次让你快速脱困。 00:00-01:00 创建追踪任务 01:00-02:00 读取日志 02:00-03:00 搜索日志 功能入口:DMS控制台-资源列表-登录数据库-数据处理-历史数据追踪 点击进入,数据管理DMS控制台>> 下一首歌《批量数据回滚功能》,你可以下载将整库、全表、部分主键回滚到过去某一时刻(如1小时前)的语句,该功能最近发布。 点击进入,数据管理DMS控制台>>
不清楚数据管理DMS的同学,请自行补课 点击进入,数据管理DMS官网>> 下面总结下同学们开发出的小技巧。 第10位(批量清空表数据) 入选理由:在数据传输DTS上迁移数据要求目标表为空,在DMS上发现可以批量清空表数据。 第9位(上传视频) 入选理由:上传个视频不知道能不能在线播放。 第8位(函数模板) 入选理由:SQL常写,用到函数就发蒙。 第7位(SQL窗口保存) 入选理由:不止SQL语句可保存,连整个SQL窗口都可以保存。 第6位(where条件数据导出) 入选理由:单表太大,写个where条件只导出最近3个月数据。 第5位(批量SQL执行) 入选理由:1条SQL不够,那就来10条。 第4位(绘制图表) 入选理由:SQL结果集不但可以编辑、导出,现在还可以绘制图表。 第3位(表数据量统计) 入选理由:不止能看表空间使用量,还能统计表数量。 第2位(管理Linux服务器) 入选理由:用DMS搞定数据库管理外,还能管理Linux服务器。 第1位(管理非阿里云的数据库) 入选理由:只知道DMS可以管理RDS、ECS自建库,竟然连AWS RDS也可以管理,貌似不止这些。 点击进入,数据管理DMS官网>>
玩了几年数据库,电脑上装过phpMyAdmin、SSMS、pgAdmin、Navicat等等,也慢慢习惯了在不同软件间切来切去;今年数据库上云了,本以为除了换个地方外什么都没变,但总觉得这些通用数据库管理软件不如以前顺手了。 回想起来,上云后其实变化很多: 数据库种类变多了,MySQL、PostgreSQL、Redis 数据库位置分散了,一部分在RDS上,一部分在ECS自建库上 一件事情要在多个控制台之间来回切换 还有越来越多的新名词,专有网络、高权限帐号、可用区、内网地址、外网地址、白名单、IOPS100%、连接数满... 多种数据库统一管理,屏蔽云数据库复杂环境,如何以不变应万变?为云数据库量身定做的云数据库管理服务,我找到的答案是:数据管理DMS 于是,我又慢慢习惯了: 习惯了一屏看尽我的数据库和服务器 习惯了记住密码的免登感觉 习惯了看一眼实例资源使用状况 习惯了工作窗口自动恢复 习惯了直接复用保存过的SQL 习惯了SQL自动提示 习惯了左右键打开表菜单 习惯了开着实时性能看着数据流动 习惯了一键杀死问题SQL 习惯了数据导来导去 点击进入,数据管理DMS官网>>
一人计短,二人计长,如何让别人分担你的工作,如何放心? 数据管理DMS最近推出 实例授权 功能,可以让第二个、第三个、第N个阿里账号登录你的数据库,也可以让你的子账号登录你的数据库;想要放心将数据库交给别人,只需3步: 1、进入数据管理DMS控制台台,点击 用户管理-添加用户,输入第二个阿里云账号 2、在用户列表中,点击 实例授权-添加授权实例,选择你的数据库实例 3、在实例列表中,点击 功能授权,勾选具体功能开关 点击进入,数据管理DMS官网>>
数据管理DMS最近推出 安全审计 功能,通过审计日志可以查看指定账号的数据操作日志,通过审计分析可以查看TOP实例、TOP用户以及操作占比等全局信息。 安全审计试用,只需2步: 1、进入数据管理DMS控制台:https://dms.console.aliyun.com 2、功能入口:控制台-安全审计
在云上混了这么多年,一直在和数据打交道,总离不开数据拷贝,本来已经习惯用数据管理DMS的导出和导入,今天才发现,我OUT了。 一直以来,无论是同实例还是跨实例,我都是先将数据导出到本地,然后再导入到数据库;一次拷贝数据需要操作好几步,遇到网络不稳定时,等的花儿都谢了。 数据管理DMS最近推出 数据库克隆 功能,指定源库和目标库,然后就搞定了,就这些,真的没有了。 数据库克隆试用,只需3步: 1、进入数据管理DMS控制台:https://dms.console.aliyun.com 2、点击 登录数据库 按钮 3、功能入口:DMS顶部导航栏-数据处理-数据库克隆 点击进入,数据管理DMS官网>>
我们一谈到数据分析,总离不开大数据,但要发挥大数据分析的真正价值并没有想象的那些容易,DMS倡导:不要等到把数据搞大了才分析。 数据管理DMS(https://www.aliyun.com/product/dms)推出 数据变化 功能,通过对RDS内核定制,高性能采集每个实例、数据库及表的行数变化,并通过专业的数据分析交互,提供实时监控、历史趋势及明细数据等分析方式,然而该功能真的能带来价值? 某大型购物网站用户是这样用的,用DMS登录后台RDS数据库,打开订单表order的表数据变化页面,据说,用户看到3条实时曲线时已经知道这是订单笔数在变化: 曲线(插入行数):订单创建笔数 曲线(删除行数):订单取消笔数 曲线(更新行数):订单修改笔数 数据变化的使用场景就这一种?是的,不过我相信聪明的用户一定能找到适合自己的使用场景,另外,数据变化暂时只能提供行数变化信息,但较传统数据分析方式已经有了巨大提升。 回想如果用传统方式干这件事情,要怎么做?基本是将数据同步到大数据平台或者是定时打点统计的方式完成,开发成本高,对源数据库有不小影响,并且很难做到实时分析数据变化趋势,那么,数据变化在哪里可以试用? 只需3步: 1、进入数据管理DMS控制台:https://dms.console.aliyun.com 2、点击 登录数据库 按钮 3、功能入口: (1)DMS顶部导航栏-性能-数据变化 (2)DMS左侧表菜单-数据变化 点击进入,数据管理DMS官网>>
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
您好,您所述的问题已经修复,请重新连接下,谢谢您的反馈
更新啦!更新啦!更新啦!
本周(6月28号)dms for linux 将发布新版本,内容如下,尽情期待
1、命令终端支持rz文件上传命令,只要能ssh登陆,无论跳几级,都可以上传。支持目录哦,真心赞!具体包括:
文件/目录点击上传;
文件/目录拖动上传;
命令行文件上传进度;
如果您第一次点入本帖,欢迎使用阿里云数据管理产品:
https://dms.console.aliyun.com/#/dms/rsList
阿里云数据管理旨在一站式管理您所有云上资源
-------------------------
-------------------------
-------------------------
各位在使用dms的过程中遇到什么问题,或者有什么建议,直接在这个帖子下面提问喔
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
引用第32楼ivmmff于2016-07-27 14:31发表的 :
命令终端不能粘贴命令太蛋疼 [url=https://bbs.aliyun.com/job.php?action=topost&tid=286015&pid=807524][/url]
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
-------------------------
分享下【SQL代码提示】功能-全世界最高效的SQL编辑工具
感觉最爽的点在于“语义解析”和“预提示”。
语义解析,所有产品在做SQL代码提示时都做了关键字匹配,这也是最容易做的,数据管理在关键字匹配的基础上,加入了SQL语义解析,在SQL语句不同位置提供符合语义的提示信息,让选择更有效率,让SQL编写更加快捷。
预提示,不依赖输入,提前提示相关信息,用户要做的就是选择,SQL编写非常流畅,在极端情况下,当用户不需要预提示时,功能支持关闭,仅当用户输入空格时才会提示相关信息。
阿里云官网(产品-数据库-数据管理)申请开通,在数据管理控制台中,新增ECS自建数据库 或 登录RDS数据库,即可体验
-------------------------
-------------------------
-------------------------
官网上有3个视频,完整介绍了数据管理整体功能。
https://www.aliyun.com/product/dms
-------------------------