数据库产品事业部月刊(2019年8—9月)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 数据库新鲜事来啦

一、重点事件

1,2019杭州云栖大会(9月25日-27日)

1) 主论坛:飞刀代表数据库团队分别在26日阿里云主论坛、27日开发者峰会上发表主题演讲;演讲内容:数据库的AI和大数据能力,AI for DB、DB for AI;其中,26日主论坛上重磅发布了POLARDB Box数据库一体机,现场顺利完成了航空APP飞常准高达25亿全球航班4D数据,并实现毫秒级数据查询的Live Demo演示,效果震撼,引起了业界强烈反响,为后续售卖打好了第一枪,会后一体机直接发往深圳公安局做PoC;同时,发布的另一款全加密数据库通过现场讲解结合vedio展示,让与会者对阿里云智能数据库安全技术领先性,以及对云数据库的信任等方面上了一个新台阶;本场共吸引了1800+场内听众,虽然临近午餐时间,但观众留存率极高;

image.png

image.png

2) 数据库分论坛:云栖大会中,数据库团队共计完成数据库专场6个,分别是下一代分析型数据库、POLARDB云原生数据库、企业级数据库最佳实践、NoSQL数据库、开源数据库、分布式数据库,合计46场分享,50位内外演讲嘉宾,场场爆满;
image.png

3) 大会展区:数据库展区分别展示了POLARDB Box一体机实物、数据库迁移上云解决方案 ,以及全加密数据库,POLARDB Box一体机成为阿里云All in Cloud展区第一吸睛展示。
image.png

2,顶级数据库与数据管理会议VLDB 2019大会(8月26日-30日):

全球顶级数据库与数据管理会议VLDB 2019在洛杉矶召开,作为阿里云数据库领头人,李飞飞受邀作了题为《Cloud-native Database Systems at Alibaba: Opportunities and Challenges》的题报告。

同时,大会收录阿里数据库3篇论文《 iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》、《AnalyticDB: Real-time OLAP Database System at Alibaba Cloud》、《S3: A Scalable In-memory Skip-List Index for Key-Value Store》。三场分享报告各有侧重,从云数据库领导者、分析型数据库到大规模数据库智能参数优化的创新与实践,充分体现了阿里在数据库各细分领域的技术先进性和影响力。

当地时间8月29日晚,由阿里云举办的阿里之夜Alibaba Night Networking Event圆满落幕,超200名VLDB论文作者、Board of trustees委员、以及MIT、CMU等学术界资深教授和学者参会,活动空前爆满,共同探讨数据库生态,并就阿里目前在数据库和大数据方面的技术进展进行交流。

image.png
image.png

相关报道:https://mp.weixin.qq.com/s/UiB1e_z0fXFiZy1mHzkSQw

3,2019 CCF 大数据与计算智能大赛(BDCI)正式开赛(8月17日)

大赛由中国计算机学会主办,是大数据与人工智能领域的算法、应用和系统大型挑战赛事。阿里作为大赛合作企业,提供赛题、计算资源及相应的大赛奖项,旨在推动大数据技术及产业生态发展,打造阿里云数据库在大数据分析领域的影响力。大赛将覆盖国内1500余所高校、1800家企事业单位及80余所科研机构。

8月17日,启动仪式在北京大学举行,现场约300人,15家企业代表出席。中国工程院院士吴建平、中国科学院院士梅宏发表开场致辞,占超群代表阿里进行赛题的介绍演讲,李飞飞现场参与由CCF大数据专委会秘书长程学旗主持的圆桌论坛,并于会后接受中国国际教育电视台专访 。

image.png
image.png

相关报道:https://developer.aliyun.com/article/715264
开发者社区官网:https://developer.aliyun.com/special/ccf

二、重大产品更新

- POLARDB :云原生数据库

POLARDB 金融云正式上线

POLARDB MySQL 第一个金融云Region(杭州)正式上线售卖,满足众安保险、天弘基金等客户的大容量需求。第二个(上海)预计在10月份上线。

POLARDB MySQL 8.0 正式商用

POLARDB MySQL 8.0 兼容版既完美地融合了社区版的新功能,比如快速加字段、CTE、窗口函数,也自研了原生的并行查询能力,特定场景下(TPC-H测试)利用多核CPU的处理能力,性能提升十倍。 并行查询文档POLARDB MySQL 8.0 在中国站、国际站、金融站同步上线售卖,覆盖全球共10个Region。
阿里云是全球首家支持 MySQL 8.0 的基于计算与存储分离架构的云原生数据库,领先于AWS、腾讯云。预计明年初8.0 版本将成为主售版本。

POLARDB 国际站正式上线,全球共计10个Region同步开服

阿里云战略级数据库产品 POLARDB已正式登陆国际站售卖,全球共计 10 个地域(Region)同步开服,意味着POLARDB全面走向国际舞台,进入全球市场,与AWS等竞争对手开始正面PK。

目前正式售卖的Region有:
华北2(北京) 、华北3(张家口) 、华东1(杭州) 、华东2(上海)、华南1(深圳)、华北5(呼和浩特)、香港、新加坡、美国(硅谷)、印度尼西亚(雅加达)

image.png
image.png

产品首页:https://www.alibabacloud.com/products/apsaradb-for-polardb
购买地址:
https://common-buy-intl.aliyun.com/?commodityCode=polardb_sub_intl#/buy

-OLAP:新一代在线交互式实时数仓

AnalyticDB for PostgreSQL正式发布Greenplum 6.0公测

分析型数据库PostgreSQL版于10.1日正式发布Greenplum 6.0公测 (持续3个月),将于2020年1月1日启动商业化。 V6.0版是Greenplum发展至今里程碑式的版本,大幅提升了并发事务处理能力,更好的满足实时数仓场景,同时通过事务锁等优化,完备支持HTAP业务。此外,内核从PostgreSQL 8.2升级到9.4,更好的兼容PostgreSQL社区生态的同时, 还引入了支持复制表、online expand和一致性哈希、磁盘配额控制、支持ZSTD压缩等大量新特性。

公测地址:https://url.cn/597oZZQ

云数据库 InfluxDB ®版本正式商业化

云数据库 InfluxDB ®于8.26日正式商业化。云数据库 InfluxDB ®版是基于当前最流行的开源时序数据库 InfluxDB 提供的托管数据库服务,具有免运维,稳定可靠,可弹性伸缩的优势,广泛应用于互联网基础资源监控、容器监控、业务运营监控分析、物联网设备远程实时监控、工业安全生产监控、生产质量评估和故障回溯。

产品链接:https://www.aliyun.com/product/hitsdb_influxdb_pre

Data Lake Analytics发布”一键建仓”到AnalyticDB for MySQL

Data Lake Analytics发布全新的“一键建仓”能力: 目标数据源支持AnalyticDB for MySQL。每天自动、无缝的帮用户把云上RDS数据库(MySQL、PostgreSQL、SQL Server)和ECS自建数据库(MySQL、PostgreSQL、SQL Server、Oracle等)里面的数据同步到AnalyticDB for MySQL、并自动映射表结构,充分发挥AnalyticDB for MySQL海量数据极速分析的性能优势的同时,也为用户快速搭建数据仓库提供了一条简单易用的途径。

-RDS & NoSQL & 管控工具

RDS MySQL 支持单机基础版升级到双机高可用版

RDS for MySQL 5.7 单机基础版实例支持一键升级到双机高可用版

  • 达到 99.95% 高可用保障,数据库故障秒级切换;
  • 企业级安全保护,数据库访问链路加密,数据透明加密,SQL访问审计等。
  • 企业级数据包括:库表级备份,跨地域备份等高级功能。
  • 企业级性能诊断工具:高级性能优化CloudDBA,性能排查Performance Insight

RDS MySQL 支持跨地域备份恢复

RDS MySQL发布跨地域备份功能,可自动将本地备份文件复制到另一地域保存,复制过程中压缩备份文件,异地最长保留五年。异地备份文件和数据库实例相互独立,源实例释放后异地文件可继续保存,在恢复时用户可选择恢复到源地域或者目的地域新实例上。
跨地域备份适用于对数据安全有高度需求的用户,如金融、政务、保险、证券、医疗等行业,或者对数据安全保留有需求的领域。
目前公测期间。

RDS SQL Server 支持用户自带License上云(BYOL)

SQL Server 2012/2016/2017版本,标准版及企业版系列,支持用户自带既有License上云(简称:BYOL模式)。BYOL模式可协助已购License客户便捷上云,大幅减轻传统自购License客户上云成本负担,扫清线下自建大客户上云的TCO制约。

RDS SQL Server提升实例内可创建数据库个数,解决ISV类场景上云问题

RDS SQL Server发布提升实例内可创建数据库个数,个数将随CPU核数阶梯上涨,由之前的统一50个库上限,调整为最高支持400个数据库创建。

SQL Server可创建数据库个数的提升,搭配SQL Server单库级别备份及恢复能力可以解决ISV、新零售等场景下,多租户同实例的部署问题。协助客户快速同架构迁移上云的同时,可进一步降低其对实例内多租户的运维管理成本。

Cassandra已上线公测,实现全球首发云Cassandra服务

Cassandra支持类似SQL的CQL语法、全球宽表排名第一、目前已在广大互联网公司规模应用。阿里云于2019.8.30日全球首发云Cassandra服务,公测期间,实例免费。

当前已支持SSD云盘,高效云盘两种云盘类型(本地盘规划中);已支持用户可配置副本数量和一致性参数(可调一致性),副本存放于同一机房,跨机房多活能力已在开发中。
此外,备份恢复、数据迁移(AWS DynamoDB、自建Cassandra等数据库到阿里云Cassandra)、X-Pack Spark对接(构建存取、分析一体化方案)等功能正在开发中,预计在商用版本中发布。

产品链接:
https://www.aliyun.com/product/cds?spm=5176.224200.h2v3icoap.66.b2aa6ed6ZNmAX1&aly_as=8GYnndrp

GDB图数据库索引功能强化

阿里云图数据库GDB支持属性图模型,用于处理高度连接数据的查询与存储,支持标准的ACID事务,支持Gremlin图查询语言。随着万物互联迅速发展,人与人、人与物、物与物间的关联关系数据暴增,图数据库也成为最近几年数据库领域发展最快的类别,是各大中型互联网公司重点发展的方向之一。

本月GDB主要针对图索引功能做了强化:支持点中心索引功能(图数据库亮点特性,加快围绕点的查询速度);完成复合条件索引功能(支持模糊查询、复合查询)。此外,还支持DataX数据导入,支持OSS CSV数据导入功能,方便用户将数据迁移到阿里云GDB。

Redis 国际站上线 5.0 版本,读写分离版,混合存储版,性能增强版

Redis 国际站补齐 5.0 大版本,读写分离版,混合存储版及性能增强版,拉齐与国内站能力代差。5.0 是目前最新的稳定版,提供全新 Stream 数据结构,内存碎片优化,更新了定时器,集群和字典相关的 API,使用体验上进一步提升。读写分离版更好的支持高读写比的业务场景,在互联网场景下有着广泛的应用空间。混合存储版主打冷热数据分离,满足低成本海量 KV 缓存的业务诉求。性能增强版通过网络 IO 优化,平均性能对比社区版提升 3 倍,满足单一数据源超高并发访问的业务场景。国际站全系列架构补齐,极大的提升了 Redis 产品在国际站的竞争力,更好的服务国际站客户。

Redis 上线 5.0 集群版,读写分离版

Redis 上线 5.0 集群版,读写分离版,补齐社区版形态下全版本,全架构的最后一块拼图,给客户更大的选型空间。Redis 5.0 带来全新的 Stream 数据结构,更新了定时器,集群和字典相关的 API,使用体验上进一步提升。在消息队列,实时在线分析等场景下也将带来更广阔的应用前景。

MongoDB发布TDE 加密进一步提升产品的安全性

MongoDB 发布支持 TDE 加密,开启加密后可对数据文件执行实时I/O加密和解密,数据在写入磁盘之前进行加密,从磁盘读入内存时解密,并支持细粒度(表)级别的加密设置,TDE 所有使用的密钥由密钥管理服务KMS(Key Management Service)统一生成和管理。MongoDB 支持 TDE 加密后将进一步提升产品的安全性,拓展产品的应用场景,特别是在安全要求更高的海外市场将会有更强的竞争力。

MongoDB发布只读节点,更好的支持在线分析类业务

MongoDB 副本集架构全版本支持追加只读节点,客户可以在新购时指定只读节点也可以在业务上线后根据业务发展追加只读节点。全新的只读节点提供独立的只读链路,避免了读请求对主节点的影响,更好的支持在线分析类业务。目前支持最多2只读节点。全新的只读节点提供直连和负载均衡两种连接方式,客户可以根据业务需求选择不同的连接方式。

Serverless版本正式公测

阿里云HBase服务正式公测Serverless版本,通过Serverless版本用户无需提前规划和购买额定资源(如CPU、内存等资源),无需购买集群。在业务高峰、业务空间增长时,无需进行扩容等复杂运维操作,无需担心预配置资源不足问题;在业务低谷时,也不再有闲置资源浪费,无需为闲置资源付费,从而降低资源过度配置导致的不必要费用。用户仅需为业务实际使用量及实际占用的资源付费即可,实现了pay as you go的付费模式。

数据库备份DBS发布支持新引擎

数据库备份DBS发布新版本,支持MySQL8.0/POLARDB MySQL8.0的逻辑备份,基于Binlog实时监听实现秒级RPO的备份能力。DBS发布支持RDS For PPAS的全量备份功能,支持9.3及10.0版本,通过这个功能可以跟RDS原生备份形成很好的互补关系,快速满足用户进行库表灵活备份、异地备份及备份长期归档的业务诉求。

数据迁移DTS升级 OpenAPI

数据迁移DTS升级OpenAPI支持告警监控的配置及管理;同时支持DRDS跨实例订阅。

数据管理DMS支持新引擎,上线数据开发能力,升级安全规则

数据管理DMS企业版支持POLARDB及ADB3.0,帮助企业客户解决POLARDB、ADB的访问控制、保障变更稳定性,实现数据库Devops;DMS支持数据开发能力,支持任务的编排及周期调度。有效支撑用户的在线数据库进行历史数据归档、日报周报等报表业务的数据分析处理。

混合云数据库管理 HDM支持新引擎

混合云数据库管理 HDM发布新版本,支持PostgreSQL的会话管理及实时性能分析,帮助用户快速定位性能瓶颈;针对RDS For MySQL发布支持Performance Insights,全网灰度50%,Performance Insights按照SQL/Waits/Users/Hosts/Databases/Status等维度,对Active Sessions进行负载分析,帮助用户快速定位负载瓶颈;

三、 前沿技术突破与发展

智能数据库

AutoSharding智能化数据分区针对DRDS分布式数据导入评估和迁移本月全网发布,指定使用手册并同步给DA同学,确定了项目合作价值的衡量指标,即DA使用覆盖率、DA侧用户采用率和树立标杆案例。

全加密数据库

产品化完成RDS PG版全部功能的开发、打通云上部署链路、支持端到端全自动部署,已上线预发环境。针对三种测试场景,目前保有不加密93%/65%/63%的性能,引入19%/17%/34%的额外存储开销,存在很大研究空间和提升潜力。该技术在为云商数据库用户提供全链路数据库加密的同时,提供完备的密文数据查询计算功能。

可信管控日志

完成产品化开发并集成至OPEN API 方案中,已上线预发验证。该技术可为云商数据库用户和管控运维人员双方提供日志真实验证能力,解决日志内容纠纷问题。

四、客户案例

首个从AWS aurora迁移至阿里云POLARDB 助力心动网络打造爆款手游

客户感言

“POLARDB提供高性能读写能力,100%兼容MySQL,使得业务可以无缝迁移,解决100万级玩家同时在线和游戏服务端软/硬件故障导致服务端重启业务快速恢复。”

客户简介

心动网络,国内极具知名度的游戏公司,中国互联网百强企业。旗下业务涉及游戏研发运营、动画制作、偶像娱乐等多个产业。公司创立于2002年,前身为中国最早的互联网分享网站之一的VeryCD。2009年起,公司开始打造心动网络的自主品牌,致力于网页及移动客户端游戏的研发与运营。

业务挑战

  • 为支持游戏业务快速出海,游戏发行和TAPTAP游戏社区全球化运营与交付,需要支撑全球化业务的统一部署。特别是东南亚人口密度较大的地区需要提供低延迟、高稳定的云服务。
  • 客户服务于国内、东南亚和欧美等地人口大国时,在活动峰值时需要支撑100万级玩家同时在线的高并发压力。
  • 游戏运维发布、游戏服务端软/硬件故障导致服务端重启,需要数据库支撑更快的数据读取能力,以实现业务的快速恢复。

解决方案

心动网络采用POLARDB分布式云原生数据库方案构建了全部业务系统:

  1. POLARDB支持处理海量大数据,同时具备高并发、高可用和很强的弹性伸缩能力;
  2. POLARDB特有的高性能读能力,有效支撑游戏服务层的因变更、异常导致的服务端重启业务快速恢复。

image.png

业务价值/客户价值

POLARDB为千万级用户在线手游保驾护航。

  • 优良的游戏体验
    基于存储计算分离架构,所有实例都带有一主一只读节点,提供3倍于MySQL的性能。基于高性能的读写能力,便于新开服以及应用弹性扩容。在游戏版本发布、服务端重启等场景可以大大缩短维护时间,又确保在极端情况下,不会因为游戏服务端软、硬件故障造成服务恢复过慢而影响玩家体验。
  • 7*24 高可用服务
    数据采用三副本一致性存储,很好地保证了数据的可靠性。同时在主实例发生故障的时候,系统能在短时间(30s-60s)内完成快速切换,确保在线业务能够在保证数据完整性的同时快速恢复以提供正常的服务。
  • 丰富的业务支持
    100%兼容MySQL 5.6和MySQL 8.0,完全兼容MySQL各种生态和中间件开源工具,非常方便游戏历史战绩、游戏充值和运营活动的开展。

客户案例:阿里云Data Lake Analytics成功迁移Google BigQuery客户 (亚米网)

亚米网是北美最大亚洲商品购物平台,自从两年前开始使用Google BigQuery,亚米网利用Google BigQuery + Google Storage在获得数据量高速增长的同时也遇到了业务瓶颈。一方面数据迁移到Google Storage上需要借助第三方服务商,工作繁琐且费用高。

亚米网从Google BigQuery上迁移到阿里云Data Lake Analytics后,整个数据链路更加的精简,能更好的支撑后端分析系统。同时Data Lake Anlaytics良好的生态兼容性也能够平滑的对接亚米网正在使用的各种BI工具,可以让运营、分析人员无感平滑使用,为亚米网的海量数据挖掘助力。

Data Lake Analytics的整体方案成本是Google BigQuery 70%,帮助在帮助亚米网在海量数据实现极低成本的挖掘。

客户案例:酷家乐案例

业务挑战(自建数据库):

  1. 装修方案以 json形式保存,10M大小,存在自建 MongoDB分片集群中。现有素材,方案数据 600TB左右,保存困难,备份困难。
  2. 并发访问数 500 以上,生成效果图的时间从 10秒激增至25秒,同时存在 7 %左右效果图请求失效。
  3. 没有专业DBA运维MongoDB集群,牵扯技术人员大量时间和精力。

阿里云数据库解决方案

  • 使用云 MongoDB集群版,运维简单,一键搭建、弹性扩容,物理备份,秒级监控和智能诊断。
  • 近期热数据存在云MongoDB集群,利用内存保证读写性能,冷数据归档到云HBase 2.0,利用 MOB 特性解决中等对象低延迟读写性能问题,压缩节省成本。

用户受益

  • 压力测试支持2000终端并发访问,生成效果图时间稳定在 5 秒左右,请求失效率降至0.2%。有效提升用户满意度。
  • 分级存储方案节省成本 40 %以上
  • 技术专家可以将更多精力放到业务优化上,无需再为数据库维护操心。

image.png

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
29天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
1月前
|
存储 NoSQL 数据库
阿里云数据库Cassandra的产品价格
阿里云数据库Cassandra提供多地域服务,如中国、亚太、欧洲、美洲及中东。计费分为实例主机节点规格费和存储费用,实例价格因节点数和副本数而异,存储费用按挂载云盘计算。生产系统建议配置多节点以确保冗余。公网流量目前免费,具体收费时间未定。详细价格以购买页面为准。
422 3
|
1月前
|
存储 弹性计算 NoSQL
2024阿里云服务器、数据库、存储等全线产品平均降价 20%
2024年最新阿里云降价,立即生效!百款产品直降,平均降幅20%,阿里云希望通过此次大规模降价,让更多企业和开发者用上先进的公共云服务,加速云计算在中国各行各业的普及和发展。这次降价包括云服务器ECS、对象存储OSS、云数据库都降价了,真降价,直降价:百款产品直降,平均降幅20%,阿里云百科分享阿里云2024年降价信息汇总表
|
3月前
|
数据库 OceanBase
OceanBase数据库是一个分布式集群产品,在部署时对硬件资源有特定的需求
OceanBase数据库是一个分布式集群产品,在部署时对硬件资源有特定的需求【1月更文挑战第12天】【1月更文挑战第56篇】
29 2
|
3月前
|
存储 关系型数据库 Serverless
PolarDBMySQL 版 Serverless,一款让你不再为数据存储/数据库性能而发愁产品
PolarDB产品具有多主多写、多活容灾、HTAP 等特性,交易性能最高可达开源数据库的6倍,分析性能最高可达开源数据库的400倍,TCO 低于自建数据库50%
104493 9
|
4月前
|
关系型数据库 分布式数据库 数据库
成为阿里云云大使,推广阿里云数据库PolarDB产品,赢取猫超卡及返佣礼金!
个人开发者加入阿里云云大使,分享活动专属页面,成功推广阿里云数据库PolarDB产品,即可赢取猫超卡及返佣礼金!​​
|
4月前
|
数据库
电子好书发您分享《阿里云数据库产品手册》
电子好书发您分享《阿里云数据库产品手册》
69 0
|
4月前
|
存储 运维 BI
云数据库SelectDB 产品解析及最佳实践
2023年10月31日-11月2日,云栖大会在杭州举办,阿里云正式对外发布了云原生全托管产品——“阿里云数据库 SelectDB 版”,SelectDB 是基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品,通过深度融合云随需而用的特性,构建起云原生存算分离的全新架构,面向企业海量数据的实时分析需求提供极速实时、融合统一、简单易用的云上数仓服务。
70086 20
|
5月前
|
SQL 关系型数据库 分布式数据库
阿里云PolarDB是一款兼容MySQL、PostgreSQL和SQL Server等多种数据库协议的产品
阿里云PolarDB是一款兼容MySQL、PostgreSQL和SQL Server等多种数据库协议的产品
647 6
|
5月前
|
数据库
易搭工作流引擎用是什么开源 还是阿里自研产品,零代码平台场景页面映射数据库表是动态创建,采用什么框架处理,怎么让系统产生高并发能力。易搭权限有没有了解,求解。
易搭工作流引擎用是什么开源 还是阿里自研产品,零代码平台场景页面映射数据库表是动态创建,采用什么框架处理,怎么让系统产生高并发能力。易搭权限有没有了解,求解。