数据库产品事业部月刊(2019年8—9月)-阿里云开发者社区

开发者社区> 阿里云数据库> 正文

数据库产品事业部月刊(2019年8—9月)

简介: 数据库新鲜事来啦

一、重点事件

1,2019杭州云栖大会(9月25日-27日)

1) 主论坛:飞刀代表数据库团队分别在26日阿里云主论坛、27日开发者峰会上发表主题演讲;演讲内容:数据库的AI和大数据能力,AI for DB、DB for AI;其中,26日主论坛上重磅发布了POLARDB Box数据库一体机,现场顺利完成了航空APP飞常准高达25亿全球航班4D数据,并实现毫秒级数据查询的Live Demo演示,效果震撼,引起了业界强烈反响,为后续售卖打好了第一枪,会后一体机直接发往深圳公安局做PoC;同时,发布的另一款全加密数据库通过现场讲解结合vedio展示,让与会者对阿里云智能数据库安全技术领先性,以及对云数据库的信任等方面上了一个新台阶;本场共吸引了1800+场内听众,虽然临近午餐时间,但观众留存率极高;

image.png

image.png

2) 数据库分论坛:云栖大会中,数据库团队共计完成数据库专场6个,分别是下一代分析型数据库、POLARDB云原生数据库、企业级数据库最佳实践、NoSQL数据库、开源数据库、分布式数据库,合计46场分享,50位内外演讲嘉宾,场场爆满;
image.png

3) 大会展区:数据库展区分别展示了POLARDB Box一体机实物、数据库迁移上云解决方案 ,以及全加密数据库,POLARDB Box一体机成为阿里云All in Cloud展区第一吸睛展示。
image.png

2,顶级数据库与数据管理会议VLDB 2019大会(8月26日-30日):

全球顶级数据库与数据管理会议VLDB 2019在洛杉矶召开,作为阿里云数据库领头人,李飞飞受邀作了题为《Cloud-native Database Systems at Alibaba: Opportunities and Challenges》的题报告。

同时,大会收录阿里数据库3篇论文《 iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》、《AnalyticDB: Real-time OLAP Database System at Alibaba Cloud》、《S3: A Scalable In-memory Skip-List Index for Key-Value Store》。三场分享报告各有侧重,从云数据库领导者、分析型数据库到大规模数据库智能参数优化的创新与实践,充分体现了阿里在数据库各细分领域的技术先进性和影响力。

当地时间8月29日晚,由阿里云举办的阿里之夜Alibaba Night Networking Event圆满落幕,超200名VLDB论文作者、Board of trustees委员、以及MIT、CMU等学术界资深教授和学者参会,活动空前爆满,共同探讨数据库生态,并就阿里目前在数据库和大数据方面的技术进展进行交流。

image.png
image.png

相关报道:https://mp.weixin.qq.com/s/UiB1e_z0fXFiZy1mHzkSQw

3,2019 CCF 大数据与计算智能大赛(BDCI)正式开赛(8月17日)

大赛由中国计算机学会主办,是大数据与人工智能领域的算法、应用和系统大型挑战赛事。阿里作为大赛合作企业,提供赛题、计算资源及相应的大赛奖项,旨在推动大数据技术及产业生态发展,打造阿里云数据库在大数据分析领域的影响力。大赛将覆盖国内1500余所高校、1800家企事业单位及80余所科研机构。

8月17日,启动仪式在北京大学举行,现场约300人,15家企业代表出席。中国工程院院士吴建平、中国科学院院士梅宏发表开场致辞,占超群代表阿里进行赛题的介绍演讲,李飞飞现场参与由CCF大数据专委会秘书长程学旗主持的圆桌论坛,并于会后接受中国国际教育电视台专访 。

image.png
image.png

相关报道:https://developer.aliyun.com/article/715264
开发者社区官网:https://developer.aliyun.com/special/ccf

二、重大产品更新

- POLARDB :云原生数据库

POLARDB 金融云正式上线

POLARDB MySQL 第一个金融云Region(杭州)正式上线售卖,满足众安保险、天弘基金等客户的大容量需求。第二个(上海)预计在10月份上线。

POLARDB MySQL 8.0 正式商用

POLARDB MySQL 8.0 兼容版既完美地融合了社区版的新功能,比如快速加字段、CTE、窗口函数,也自研了原生的并行查询能力,特定场景下(TPC-H测试)利用多核CPU的处理能力,性能提升十倍。 并行查询文档POLARDB MySQL 8.0 在中国站、国际站、金融站同步上线售卖,覆盖全球共10个Region。
阿里云是全球首家支持 MySQL 8.0 的基于计算与存储分离架构的云原生数据库,领先于AWS、腾讯云。预计明年初8.0 版本将成为主售版本。

POLARDB 国际站正式上线,全球共计10个Region同步开服

阿里云战略级数据库产品 POLARDB已正式登陆国际站售卖,全球共计 10 个地域(Region)同步开服,意味着POLARDB全面走向国际舞台,进入全球市场,与AWS等竞争对手开始正面PK。

目前正式售卖的Region有:
华北2(北京) 、华北3(张家口) 、华东1(杭州) 、华东2(上海)、华南1(深圳)、华北5(呼和浩特)、香港、新加坡、美国(硅谷)、印度尼西亚(雅加达)

image.png
image.png

产品首页:https://www.alibabacloud.com/products/apsaradb-for-polardb
购买地址:
https://common-buy-intl.aliyun.com/?commodityCode=polardb_sub_intl#/buy

-OLAP:新一代在线交互式实时数仓

AnalyticDB for PostgreSQL正式发布Greenplum 6.0公测

分析型数据库PostgreSQL版于10.1日正式发布Greenplum 6.0公测 (持续3个月),将于2020年1月1日启动商业化。 V6.0版是Greenplum发展至今里程碑式的版本,大幅提升了并发事务处理能力,更好的满足实时数仓场景,同时通过事务锁等优化,完备支持HTAP业务。此外,内核从PostgreSQL 8.2升级到9.4,更好的兼容PostgreSQL社区生态的同时, 还引入了支持复制表、online expand和一致性哈希、磁盘配额控制、支持ZSTD压缩等大量新特性。

公测地址:https://url.cn/597oZZQ

云数据库 InfluxDB ®版本正式商业化

云数据库 InfluxDB ®于8.26日正式商业化。云数据库 InfluxDB ®版是基于当前最流行的开源时序数据库 InfluxDB 提供的托管数据库服务,具有免运维,稳定可靠,可弹性伸缩的优势,广泛应用于互联网基础资源监控、容器监控、业务运营监控分析、物联网设备远程实时监控、工业安全生产监控、生产质量评估和故障回溯。

产品链接:https://www.aliyun.com/product/hitsdb_influxdb_pre

Data Lake Analytics发布”一键建仓”到AnalyticDB for MySQL

Data Lake Analytics发布全新的“一键建仓”能力: 目标数据源支持AnalyticDB for MySQL。每天自动、无缝的帮用户把云上RDS数据库(MySQL、PostgreSQL、SQL Server)和ECS自建数据库(MySQL、PostgreSQL、SQL Server、Oracle等)里面的数据同步到AnalyticDB for MySQL、并自动映射表结构,充分发挥AnalyticDB for MySQL海量数据极速分析的性能优势的同时,也为用户快速搭建数据仓库提供了一条简单易用的途径。

-RDS & NoSQL & 管控工具

RDS MySQL 支持单机基础版升级到双机高可用版

RDS for MySQL 5.7 单机基础版实例支持一键升级到双机高可用版

  • 达到 99.95% 高可用保障,数据库故障秒级切换;
  • 企业级安全保护,数据库访问链路加密,数据透明加密,SQL访问审计等。
  • 企业级数据包括:库表级备份,跨地域备份等高级功能。
  • 企业级性能诊断工具:高级性能优化CloudDBA,性能排查Performance Insight

RDS MySQL 支持跨地域备份恢复

RDS MySQL发布跨地域备份功能,可自动将本地备份文件复制到另一地域保存,复制过程中压缩备份文件,异地最长保留五年。异地备份文件和数据库实例相互独立,源实例释放后异地文件可继续保存,在恢复时用户可选择恢复到源地域或者目的地域新实例上。
跨地域备份适用于对数据安全有高度需求的用户,如金融、政务、保险、证券、医疗等行业,或者对数据安全保留有需求的领域。
目前公测期间。

RDS SQL Server 支持用户自带License上云(BYOL)

SQL Server 2012/2016/2017版本,标准版及企业版系列,支持用户自带既有License上云(简称:BYOL模式)。BYOL模式可协助已购License客户便捷上云,大幅减轻传统自购License客户上云成本负担,扫清线下自建大客户上云的TCO制约。

RDS SQL Server提升实例内可创建数据库个数,解决ISV类场景上云问题

RDS SQL Server发布提升实例内可创建数据库个数,个数将随CPU核数阶梯上涨,由之前的统一50个库上限,调整为最高支持400个数据库创建。

SQL Server可创建数据库个数的提升,搭配SQL Server单库级别备份及恢复能力可以解决ISV、新零售等场景下,多租户同实例的部署问题。协助客户快速同架构迁移上云的同时,可进一步降低其对实例内多租户的运维管理成本。

Cassandra已上线公测,实现全球首发云Cassandra服务

Cassandra支持类似SQL的CQL语法、全球宽表排名第一、目前已在广大互联网公司规模应用。阿里云于2019.8.30日全球首发云Cassandra服务,公测期间,实例免费。

当前已支持SSD云盘,高效云盘两种云盘类型(本地盘规划中);已支持用户可配置副本数量和一致性参数(可调一致性),副本存放于同一机房,跨机房多活能力已在开发中。
此外,备份恢复、数据迁移(AWS DynamoDB、自建Cassandra等数据库到阿里云Cassandra)、X-Pack Spark对接(构建存取、分析一体化方案)等功能正在开发中,预计在商用版本中发布。

产品链接:
https://www.aliyun.com/product/cds?spm=5176.224200.h2v3icoap.66.b2aa6ed6ZNmAX1&aly_as=8GYnndrp

GDB图数据库索引功能强化

阿里云图数据库GDB支持属性图模型,用于处理高度连接数据的查询与存储,支持标准的ACID事务,支持Gremlin图查询语言。随着万物互联迅速发展,人与人、人与物、物与物间的关联关系数据暴增,图数据库也成为最近几年数据库领域发展最快的类别,是各大中型互联网公司重点发展的方向之一。

本月GDB主要针对图索引功能做了强化:支持点中心索引功能(图数据库亮点特性,加快围绕点的查询速度);完成复合条件索引功能(支持模糊查询、复合查询)。此外,还支持DataX数据导入,支持OSS CSV数据导入功能,方便用户将数据迁移到阿里云GDB。

Redis 国际站上线 5.0 版本,读写分离版,混合存储版,性能增强版

Redis 国际站补齐 5.0 大版本,读写分离版,混合存储版及性能增强版,拉齐与国内站能力代差。5.0 是目前最新的稳定版,提供全新 Stream 数据结构,内存碎片优化,更新了定时器,集群和字典相关的 API,使用体验上进一步提升。读写分离版更好的支持高读写比的业务场景,在互联网场景下有着广泛的应用空间。混合存储版主打冷热数据分离,满足低成本海量 KV 缓存的业务诉求。性能增强版通过网络 IO 优化,平均性能对比社区版提升 3 倍,满足单一数据源超高并发访问的业务场景。国际站全系列架构补齐,极大的提升了 Redis 产品在国际站的竞争力,更好的服务国际站客户。

Redis 上线 5.0 集群版,读写分离版

Redis 上线 5.0 集群版,读写分离版,补齐社区版形态下全版本,全架构的最后一块拼图,给客户更大的选型空间。Redis 5.0 带来全新的 Stream 数据结构,更新了定时器,集群和字典相关的 API,使用体验上进一步提升。在消息队列,实时在线分析等场景下也将带来更广阔的应用前景。

MongoDB发布TDE 加密进一步提升产品的安全性

MongoDB 发布支持 TDE 加密,开启加密后可对数据文件执行实时I/O加密和解密,数据在写入磁盘之前进行加密,从磁盘读入内存时解密,并支持细粒度(表)级别的加密设置,TDE 所有使用的密钥由密钥管理服务KMS(Key Management Service)统一生成和管理。MongoDB 支持 TDE 加密后将进一步提升产品的安全性,拓展产品的应用场景,特别是在安全要求更高的海外市场将会有更强的竞争力。

MongoDB发布只读节点,更好的支持在线分析类业务

MongoDB 副本集架构全版本支持追加只读节点,客户可以在新购时指定只读节点也可以在业务上线后根据业务发展追加只读节点。全新的只读节点提供独立的只读链路,避免了读请求对主节点的影响,更好的支持在线分析类业务。目前支持最多2只读节点。全新的只读节点提供直连和负载均衡两种连接方式,客户可以根据业务需求选择不同的连接方式。

Serverless版本正式公测

阿里云HBase服务正式公测Serverless版本,通过Serverless版本用户无需提前规划和购买额定资源(如CPU、内存等资源),无需购买集群。在业务高峰、业务空间增长时,无需进行扩容等复杂运维操作,无需担心预配置资源不足问题;在业务低谷时,也不再有闲置资源浪费,无需为闲置资源付费,从而降低资源过度配置导致的不必要费用。用户仅需为业务实际使用量及实际占用的资源付费即可,实现了pay as you go的付费模式。

数据库备份DBS发布支持新引擎

数据库备份DBS发布新版本,支持MySQL8.0/POLARDB MySQL8.0的逻辑备份,基于Binlog实时监听实现秒级RPO的备份能力。DBS发布支持RDS For PPAS的全量备份功能,支持9.3及10.0版本,通过这个功能可以跟RDS原生备份形成很好的互补关系,快速满足用户进行库表灵活备份、异地备份及备份长期归档的业务诉求。

数据迁移DTS升级 OpenAPI

数据迁移DTS升级OpenAPI支持告警监控的配置及管理;同时支持DRDS跨实例订阅。

数据管理DMS支持新引擎,上线数据开发能力,升级安全规则

数据管理DMS企业版支持POLARDB及ADB3.0,帮助企业客户解决POLARDB、ADB的访问控制、保障变更稳定性,实现数据库Devops;DMS支持数据开发能力,支持任务的编排及周期调度。有效支撑用户的在线数据库进行历史数据归档、日报周报等报表业务的数据分析处理。

混合云数据库管理 HDM支持新引擎

混合云数据库管理 HDM发布新版本,支持PostgreSQL的会话管理及实时性能分析,帮助用户快速定位性能瓶颈;针对RDS For MySQL发布支持Performance Insights,全网灰度50%,Performance Insights按照SQL/Waits/Users/Hosts/Databases/Status等维度,对Active Sessions进行负载分析,帮助用户快速定位负载瓶颈;

三、 前沿技术突破与发展

智能数据库

AutoSharding智能化数据分区针对DRDS分布式数据导入评估和迁移本月全网发布,指定使用手册并同步给DA同学,确定了项目合作价值的衡量指标,即DA使用覆盖率、DA侧用户采用率和树立标杆案例。

全加密数据库

产品化完成RDS PG版全部功能的开发、打通云上部署链路、支持端到端全自动部署,已上线预发环境。针对三种测试场景,目前保有不加密93%/65%/63%的性能,引入19%/17%/34%的额外存储开销,存在很大研究空间和提升潜力。该技术在为云商数据库用户提供全链路数据库加密的同时,提供完备的密文数据查询计算功能。

可信管控日志

完成产品化开发并集成至OPEN API 方案中,已上线预发验证。该技术可为云商数据库用户和管控运维人员双方提供日志真实验证能力,解决日志内容纠纷问题。

四、客户案例

首个从AWS aurora迁移至阿里云POLARDB 助力心动网络打造爆款手游

客户感言

“POLARDB提供高性能读写能力,100%兼容MySQL,使得业务可以无缝迁移,解决100万级玩家同时在线和游戏服务端软/硬件故障导致服务端重启业务快速恢复。”

客户简介

心动网络,国内极具知名度的游戏公司,中国互联网百强企业。旗下业务涉及游戏研发运营、动画制作、偶像娱乐等多个产业。公司创立于2002年,前身为中国最早的互联网分享网站之一的VeryCD。2009年起,公司开始打造心动网络的自主品牌,致力于网页及移动客户端游戏的研发与运营。

业务挑战

  • 为支持游戏业务快速出海,游戏发行和TAPTAP游戏社区全球化运营与交付,需要支撑全球化业务的统一部署。特别是东南亚人口密度较大的地区需要提供低延迟、高稳定的云服务。
  • 客户服务于国内、东南亚和欧美等地人口大国时,在活动峰值时需要支撑100万级玩家同时在线的高并发压力。
  • 游戏运维发布、游戏服务端软/硬件故障导致服务端重启,需要数据库支撑更快的数据读取能力,以实现业务的快速恢复。

解决方案

心动网络采用POLARDB分布式云原生数据库方案构建了全部业务系统:

  1. POLARDB支持处理海量大数据,同时具备高并发、高可用和很强的弹性伸缩能力;
  2. POLARDB特有的高性能读能力,有效支撑游戏服务层的因变更、异常导致的服务端重启业务快速恢复。

image.png

业务价值/客户价值

POLARDB为千万级用户在线手游保驾护航。

  • 优良的游戏体验
    基于存储计算分离架构,所有实例都带有一主一只读节点,提供3倍于MySQL的性能。基于高性能的读写能力,便于新开服以及应用弹性扩容。在游戏版本发布、服务端重启等场景可以大大缩短维护时间,又确保在极端情况下,不会因为游戏服务端软、硬件故障造成服务恢复过慢而影响玩家体验。
  • 7*24 高可用服务
    数据采用三副本一致性存储,很好地保证了数据的可靠性。同时在主实例发生故障的时候,系统能在短时间(30s-60s)内完成快速切换,确保在线业务能够在保证数据完整性的同时快速恢复以提供正常的服务。
  • 丰富的业务支持
    100%兼容MySQL 5.6和MySQL 8.0,完全兼容MySQL各种生态和中间件开源工具,非常方便游戏历史战绩、游戏充值和运营活动的开展。

客户案例:阿里云Data Lake Analytics成功迁移Google BigQuery客户 (亚米网)

亚米网是北美最大亚洲商品购物平台,自从两年前开始使用Google BigQuery,亚米网利用Google BigQuery + Google Storage在获得数据量高速增长的同时也遇到了业务瓶颈。一方面数据迁移到Google Storage上需要借助第三方服务商,工作繁琐且费用高。

亚米网从Google BigQuery上迁移到阿里云Data Lake Analytics后,整个数据链路更加的精简,能更好的支撑后端分析系统。同时Data Lake Anlaytics良好的生态兼容性也能够平滑的对接亚米网正在使用的各种BI工具,可以让运营、分析人员无感平滑使用,为亚米网的海量数据挖掘助力。

Data Lake Analytics的整体方案成本是Google BigQuery 70%,帮助在帮助亚米网在海量数据实现极低成本的挖掘。

客户案例:酷家乐案例

业务挑战(自建数据库):

  1. 装修方案以 json形式保存,10M大小,存在自建 MongoDB分片集群中。现有素材,方案数据 600TB左右,保存困难,备份困难。
  2. 并发访问数 500 以上,生成效果图的时间从 10秒激增至25秒,同时存在 7 %左右效果图请求失效。
  3. 没有专业DBA运维MongoDB集群,牵扯技术人员大量时间和精力。

阿里云数据库解决方案

  • 使用云 MongoDB集群版,运维简单,一键搭建、弹性扩容,物理备份,秒级监控和智能诊断。
  • 近期热数据存在云MongoDB集群,利用内存保证读写性能,冷数据归档到云HBase 2.0,利用 MOB 特性解决中等对象低延迟读写性能问题,压缩节省成本。

用户受益

  • 压力测试支持2000终端并发访问,生成效果图时间稳定在 5 秒左右,请求失效率降至0.2%。有效提升用户满意度。
  • 分级存储方案节省成本 40 %以上
  • 技术专家可以将更多精力放到业务优化上,无需再为数据库维护操心。

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里云数据库
使用钉钉扫一扫加入圈子
+ 订阅

帮用户承担一切数据库风险,给您何止是安心!

官方博客
链接