一、 重点事件
1、 阿里云智能数据库产品亮相2019阿里云峰会北京站
2019阿里云峰会北京站于3月21日在国家会议中心顺利召开,上午主论坛共有4个与数据库相关产品发布:图数据库GDB公测、POLARDB 2.0(PostgreSQL增强版兼容Oracle)、云数据库RDS PostgreSQL发布GPU规格版本、RDS全面支持BYOK加密;
北京峰会分论坛中,数据库共3场12个演讲,分布在开发者专场、云灾备和迁移专场、数据库专场等。另外,还有2个专访、1个飞刀&客户见面会、1个客户晚宴。数据库专场现场共签到200人左右,参与飞刀见面会的嘉宾超50位,玖富金融、龙湖地产、央视网、好未来、用钱宝、西会科技、亚博松、聚美优品、点评微生活、一亩田、上海数梦工场等客户在现场进行了比较深度的交流,客户对这种交流方式给予了肯定,其中龙湖地产预约了团队拜访交流;传播方面,除了阿里云整体的公关文章外,数据库还发布5篇产品和技术文章。
查看产品发布详情:https://mp.weixin.qq.com/s/KH7TDHJF_TZ3ylki97ijcw
二、 商用产品技术进展
1. 阿里云重磅发布POLARDB v2.0,兼容Oracle和PostgreSQL。这是业内首款兼容Oracle的云原生数据库,可帮助企业平滑地将传统数据库上的业务迁移上云。
POLARDB v2.0采用了存储计算分离、软硬件一体化设计,通过高速的RDMA网络提供共享存储的架构,可以快速实现弹性缩扩容,单个实例可扩展到1000核计算能力,同时可以横向扩展到100TB存储空间,满足大规模业务场景的需求。作为云原生数据库,POLARDB采用自主研发分布式存储引擎设计,计算服务器和存储数据分离的架构,性能更快,弹性能力更佳,自带只读节点,数据自适应扩展,数据三副本存储,秒级备份,提供更高的数据可靠性。
2. 图数据库GDB公测发布,高度连接数据查询效率提升10倍
阿里云发布了国内首个云原生的图数据库GDB,拥有多层关系数据的快速查询与存储能力,可帮助
企业提升10倍以上的信息查询效率,查询时延降低至毫秒级,适用于社交网络、金融欺诈检测、实时推荐引荐、知识图谱等智能应用领域。
和关系型数据库存储结构化的表数据不同,图数据库存储的是图,即用点和边来表达数据之间的关系,社交关系、线上交易记录都属于图数据。据介绍,GDB对高度互连数据集进行了深度优化,能够轻松应对百亿级关系数据的存储并提供低延时访问,可保证图数据完整性的同时进行快速的数据更新。
3. 云数据库RDS ESSD云盘版本公测发布
通过对 ESSD 云盘的支持,RDS提供高达 100 万 IOPS 性能, 同时可以实现在线无间断的存储空间扩展。当前已经提供 MySQL 5.7 以上 及SQL Server 2012 以上的支持,后续将支持到 MariaDB 及 PostgreSQL,覆盖 RDS 所有引擎。
公测:https://page.aliyun.com/form/act464253584/index.htm
4. 阿里云RDS PostgreSQL数据库GPU规格版本正式上线
阿里云RDS PostgreSQL数据库GPU规格版本正式上线,开启了RDS异构计算并行加速之路。该版本在RDS(关系型数据库服务)的云基础设施层面首次完成了与阿里云异构计算产品的适配,实现了PostgreSQL时空引擎Ganos在空间图形图像处理上的并行计算加速,成为国内第一个将GPU应用于商业空间信息领域的数据库。伴随该版本的发布,RDS在云基础设施层面首次完成了GPU计算框架的适配,为云上数据库构建异构计算并行环境建立了重要基础。由于空间图形图像数据体量大、计算复杂,首期GPU加速能力主要与阿里云数据库时空引擎 Ganos结合,大幅提升空间数据处理性能。PostgreSQL时空引擎 Ganos为一种云数据库增值服务,为各类时空数据提供云上的高效存储、查询和分析计算服务。
5、 BYOK本地盘TDE,为云上用户,提供了使用个人秘钥或者说自定义的密钥的机会,自主进行表级别加密设置的数据库安全服务
在本次发布的BYOK方案中,秘钥存储在阿里云密钥管理服务(KMS)中,由用户拥有和管理,通过个人授权云服务的方式,实现了秘钥的访问控制,在数据库实例秘钥管理方面,为用户提供了更高的透明度,自主性和细化控制。 内核实现方面,阿里云数据库团队基于自主研发的MySQL5.6内核,实现表级别的透明加密服务。使用者的开发人员无需更改任何应用程序,按照page size进行block加密,写入磁盘之前进行加密,从磁盘读入内存时进行解密,不会增加数据文件的大小。 总结起来,BYOK TDE让用户自主选定个人秘钥,自主控制加密表格,将密钥管理与数据库管理责任分离,为云上用户提供了更透明更自主的安全机制,帮助满足用户数据库安全方面的需求。
6. MongoDB副本集覆盖同城单、双、三可用区容灾,机房级RPO=0保障
MongoDB副本集覆盖支持同城单、双、三可用区场景下的同城容灾,单节点故障、单可用区故障均支持自动切换,确保应该正常可用。全形态支持RPO=0的高可靠性保障,任一节点故障、机房故障,可确保数据不因故障而丢失。足以满足金融、保险等强监管行业业务及企业重要数据、敏感数据处理等核心场景的使用需求。
7. AnalyticDB支持全文检索,具备多模分析能力
将结构化和非结构化数据列在一个表中同时定义,且支持进行结构化和非结构化条件联合检索满足多变的检索需求;内置了来自淘宝、天猫搜索的智能分词组件,分词效果更好速度更快;支持完善的分布式Join、subquery,包括分区键及非分区键计算。无需在应用层做application-side join。
8. Data Lake Analytics“一键建仓”能力覆盖支持MySQL、PostgreSQL、SQL Server
Data Lake Analytics“一键建仓”迈出了第一步,目前为止覆盖支持了MySQL、PostgreSQL、SQL Server数据库数据源的一键元数据同步,跳过手动元数据映射和外表建表流程,大大提高了这几种数据库数据源的分析接入效率。
9. 数据传输服务DTS支持Redis实例间、MySQL->Kafka的数据实时同步、数据传输服务DTS支持Oracle redo log实时订阅
数据传输服务DTS支持Redis实例间的数据实时同步,基于日志实现毫秒级同步延迟。通过这个功能,用户可以实现异地灾备、业务零停机上云等业务场景。支持MySQL->Kafka 实时同步,用户可以将MySQL变更数据实时同步至自己的Kafka集群,借助Kafka丰富的生态,进行数据消费。
数据传输服务DTS支持Oracle redo log实时订阅,用户可以通过DTS实时获取Oracle变更数据,实现系统间消息通知或数据同步
10. 数据库备份DBS上线SQLServer物理备份,支持全量及增量备份,实现1小时的RPO,有效提升企业数据安全。
数据库备份DBS推出SQL Server物理备份方式,支持全量备份及增量备份,支持备份集压缩及恢复到任意数据库的能力。通过物理备份,可将私有网络数据库备份到公有云,同时,通过增量备份功能可实现1个小时的RPO,提升数据安全性。
10. 数据管理DMS企业版支持POLARDB,支持数据库访问控制及研发流程控制,有效提升数据库安全
数据管理DMS企业版发布支持POLARDB,帮助企业客户实现POLARDB的数据导出、数据变更、表结构设计等开发者常用功能的研发流程控制及数据安全管理
三、 技术项目进展
RDS MySQL数据库代理升级
为提供更出色的稳定性和性能,阿里云将对部分RDS实例进行网络连接模式升级,即从高安全模式(数据库代理)升级到高性能模式(标准模式)。升级后的优势:
【稳定性】升级后网络链路少一次跳转,极大提高了稳定性。
【性能】升级后网络链路少一次跳转, 响应时间平均减少20%,性能明显提升。
RDS MySQL 及 SQL Server支持库表级数据恢复
企业业务发展过程中,由于不可预知的业务问题可能需要对某个Database 或某个 Table 进行数据回复,原有 RDS 功能只支持针对整个实例的数据恢复,花费时间效长,不符合业务需求。阿里云为此在 RDS MySQL中支持单库和单表的数据恢复,可以通过备份指定恢复误删的数据库或表,快速恢复RDS MySQL的数据。RDS SQL Server 2017企业集群版同样发布了数据库恢复功能,支持恢复到全新实例,可以恢复整个实例或者单个数据库。
[ 数据管理DMS个人版支持管理用户线下私有网络中的数据库,跨数据库查询应用访问能力,为私网数据库提供在线数据库研发环境,有效提升用户研发效率]
针对用户本地IDC自建数据库、其他云厂商的云数据库,用户可以在不暴露数据库公网地址、不采购昂贵的网络技术实施的基础上,直接通过数据管理DMS访问并管理私网数据库。这个解决方案为用户提供私网环境数据库的研发环境,保障数据库安全的同时,提升数据库研发效率。
数据管理(DMS)跨数据库查询功能可实现跨同异构数据库的在线查询。其可支持MySQL、SQLServer、PostgreSQL及Redis等数据源。通过这个功能,用户可以使用一条SQL实现跨数据库实例的复杂关联查询。此次跨数据库查询服务产品化,服务协议兼容MySQL,用户可以通过MySQL Driver、MySQL命令行工具及客户端生态工具访问DMS服务端实现跨数据库的查询诉求。
Redis 5.0支持日志管理体系
提供慢日志功能,方便客户定位慢查询操作,进行性能问题排查。提供操作命令,执行时常,执行用户等相关信息。
提供审计日志功能,方便客户进行问题回溯,开启审计日志后可以100%捕捉客户执行命令,包括命令信息,执行时间,执行账户,消耗时间等相关信息。
提供运行日志信息,方便客户掌握实例运行基础信息。
四、 学术、科研、技术成果
阿里自研OLTP数据库的里程碑: X-Engine论文被数据库顶会SIGMOD 2019收录
由数据库产品事业部联合达摩院数据库与存储实验室撰写的论文 "X-Engine: An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing" 日前已经被ACM SIGMOD'19接收。
X-Engine是阿里数据库产品事业部-OLTP产品部自研的高性能低成本数据库存储引擎,作为自研分布式关系型数据库PolarDB(X)的存储引擎,已经广泛应用在集团内部诸多业务系统中,其中包括交易历史库,钉钉历史库等核心应用,为业务大幅缩减了成本,同时也作为双11大促的关键数据库技术。
• 智能自治化数据库平台:
全网慢SQL通过自动SQL优化比上月减少9.1% (460万->418万);自动空间优化累计节省空间2.15PB;自动参数优化规模化完成7200实例;自动Buffer Pool优化累计节省内存21TB (12.7%),完成既定20T目标;全网日均告警数量通过自动告警处理比上月减少~20%,稳定在每日500次以下。
• 加密数据库:
针对云数据库场景,完成对PostgreSQL多个模块的安全改造与改进:数据加密由采用SGX sealing加密改进为采用用户密钥加密;完成数据库SGX remote attestation安全通信的客户端部分改造。
专利:一种云上跨云、跨地域的多数据源SQL查询系统与方法
通过弹性网络技术、数据源来源标识和网络探测优化等技术,实现“多云”,“多region”场景下的异构数据源接入分析和回流能力。目前部分能力已经集成与落地到Data Lake Analytics中,被用户业务大量使用。
专利:一种数据湖中元数据快速创建的系统与方法
为用户提供特定设计的DDL语法,对结构化、半结构化等多种数据库、数据文件格式,多种压缩算法的数据文件进行智能同步与智能识别,极大提升了Data Lake Analytics的数据接入和数据探索效率和用户体验,目前已经集成与落地到Data Lake Analytics中。
• 与浙大下一代数据库实验室合作的智能问答数据库Demo系统完成。基于自然语言理解和机器翻译技术,可输入中文问题,转化为SQL语句并输出结果。
五、 技术沙龙
阿里云栖开发者沙龙-时序数据库专场
3月2日,本期沙龙以“开辟大数据新赛道,教你玩转海量时序数据”为主题,主要面向华北地区客户进行技术布道。邀请了来自滴滴、饿了么、二维火的多位业内数据库技术专家分享交流技术经验,畅谈时序数据库背后的那些事儿。近200名客户和开发者到场参会,云栖社区同步在线直播上万人观看。
直播回看地址:https://yq.aliyun.com/live/863
Presto Summit 2019
Presto Summit 2019 在Facebook总部举行,会上OLAP团队分享了 《AnalyticDB基于Presto的改进》。AnalyticDB积累的计算和优化器改进引起强烈反响,希望能开源回馈社区,已经有包括Facebook在内的多家公司提出了团队交流提议。
客户案例
● POLARDB如何助力轻松筹打造5亿用户信赖的大病筹款平台?
轻松筹首创了“大病救助”模式,帮助了众多病患在第一时间解決了医疗资金等问题,为了从源头解决了医疗资金问题。而在轻松筹这样全球5.5亿用户信赖的大病筹款平台的背后,是日益增长的各种数据。面对这样数据量所造成的巨大挑战,阿里云POLARDB是如何帮助轻松筹践行“善DNA”的呢?查看详情
● 广告行业某客户落地Serverless数据湖方案
采用Data Lake Analytics方案,客户基于ECS自建系统全部下线,实现零维护成本,云上月开销成本节省4倍,同时数据清洗、分析性能提升4倍;全SQL化接口和MySQL工具链的全面兼容,让客户完全专注业务数据逻辑,充分激活日2000亿级数据记录的价值,加速赋能上、下游广告客户群体。
● 混合云管理HDM助力紫龙游戏实现数据库统一监控及性能优化
紫龙游戏通过HDM实现多个云厂商的云数据库及线下IDC自建数据库的统一管理监控。通过HDM,用户可以直观的查看所有数据库的监控、告警信息,确认异常实例,并且可以直接进行一键诊断、数据库优化,帮助我们提升了数据库管理的效率,加强了数据库的稳定性。
● 数据传输服务DTS助力国家能源集团实现业务数据到报表系统的实时同步
国家能源集团通过DTS实现线上业务数据库到数据仓库的数据实时同步,实现实时报表业务。通过DTS将不同数据库的数据汇总到分析库中,还实现了分库分表的汇总同步,有效避免复杂的跨库分析,提高用户报表产出效率。