云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。

在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
image.png
在开篇演讲中,阿里云数据库产品事业部PolarDB MySQL及PostgreSQL负责人杨辛军分享了PolarDB多个重要发布。包括:PolarDB的存储底座再升级,在其PolarStore Deepsea版本,存储量提升100倍至1 PB,读写性能延迟降低3倍至30微秒,大幅领先普通云盘超6倍。提供软硬一体化压缩,平均压缩率到5倍。
此外,他还详细解读了PolarDB 多主多写、Serverless两个重要功能,这两个功能分别在世界顶级数据会议ACM SIGMOD,IEEE ICDE上斩获中国及亚洲第一个工业赛道最佳论文奖。同时,PolarDB在AI浪潮下,也积极提供用户AI相关的能力,帮助用户充分利用数据,进行场景化模型的训练和推理,帮助用户进行信息挖掘和有效决断。image.png
在分享《游戏全生命周期上云方法论》的过程中,FunPlus运维负责人刘宗庆从兼容性、极致性能、弹性拓展、备份与恢复、高可用性及容灾等多个角度,详细阐述了PolarDB在游戏场景中的全面优化优势,以及如何支持游戏业务的快速迭代和无缝扩展。目前,Funplus的多款热门游戏都采用PolarDB MySQL作为持久化数据库。凭借分布式存储和多线程技术,PolarDB提供超大IO读写带宽,确保玩家在高峰期能够流畅地进行存档和回档。
image.png
太美医疗科技副总裁黄玉飞在《太美医疗:PolarDB助力医药研发数据安全应用》的分享中结合太美自身业务实践,具体形象的阐述了PolarDB为太美在技术以及业务领域所带来的提升。
在医药研发场景下,除了在技术上需要保证高可用、弹性扩展、完全兼容MySQL、性价比高等特点之外,还需要满足临床数据的严格的ALCOA+ 规范化要求,以及逻辑核查准确性、业务数据锁库、业务数据回退等行业业务需求。借助PolarDB在高性能全局一致性、闪回查询、数据生命周期管理、透明加密、动态脱敏等方面的特性,一方面帮助客户解决了上述业务场景的需求以及数据合规管理的要求,另一方面提供了稳定、高效、高性价比的数据库平台支撑了太美医疗整体业务。
在分享最后,黄总也希望未来能够在Serverless、HTAP以及全球化应用等方面与PolarDB有更深入的合作。image.png
阿里云数据库产品事业部资深产品专家张广舟在《PolarDB PostgreSQL版:商业数据库替换与企业上云首选》演讲中,介绍了PolarDB PostgreSQL版在Serverless、性能、成本、多模等方面的特性更新。Serverless方面,PolarDB实现了横向和纵向的弹升能力,可以秒级扩展节点资源,同时按需扩展节点数量。性能方面,最近一年OLTP性能提升30%以上;借助向量化加速引擎,分析型查询性能提升一个数量级。成本方面,发布了硬件压缩、冷热数据自动分层能力。多模方面,添加了向量、时序及图数据的处理引擎,降低了应用开发成本。
另外,PolarDB PostgreSQL版还增强了Oracle兼容性,推出了轻量化输出形态,符合安全可信要求,可以软件化输出、单台起建,方便客户部署和使用。PolarDB已经成为越来越多企业客户上云和商业数据库替换的首选。image.png
在《PolarDB分布式版:与云融合的分布式数据库发展新阶段》主题分享中,阿里云数据库产品事业部PolarDB分布式版负责人黄贵表示:“自服务阿里集团核心业务以来,PolarDB分布式版走过了分布式中间件到一体化分布式数据库阶段,正迈向云原生分布式数据库阶段。集中分布式一体化的能力利用云基础设施的资源池获得充分的弹性,降低用户使用门槛,随着用户业务的规模伸缩。零售以及电商中台等SaaS应用更是利用PolarDB分布式的资源隔离特性将不同租户动态分配的独立的资源池中,保证互不影响。”
PolarDB分布式提供了默认多可用区容灾的能力,保证RPO=0的同时服务秒级切换;支持跨地域的容灾与多活帮助企业级用户跨域业务永不停机的服务能力;引入了实时同步的列存副本加速复杂查询(TPCH 100GB相对行存6.5倍性能提升),透明添加列式只读节点支持事务与分析的一体化服务,利用列存副本的超强压缩能力,与TTL行级归档特性,将用户的历史数据进行自动归档,最大可降低存储成本20倍。image.png
中国石油化工集团有限公司冠德数智开发部总负责人杨毅在题为《数字化转型战略下的新一代零售中台建设思考》强调,中台业务之所以必须选择分布式数据库,原因有二:Share-nothing分布式数据库的整体高可用性是主要考量,由于数据分布在不同节点,每个节点的数据副本部署于不同机房,所以分布式数据库的整体可用性更高;分布式数据库的扩展性能轻松应对海量数据存储与瞬时高并发访问也是中台业务必须选择分布式数据库的原因之一。
他列举了石化销售公司围绕打造世界一流“油气氢电服”综合能源服务商的目标过程中使用PolarDB-X解决对实际问题,如使用全局二级索引(GSI)实现异构查询;使用冷数据归档进行海亮存储资源降本等。杨毅在中石化零售中台的展望环节中提到,容灾多活是下一步的建设目标,PolarDB-X的高级容灾能力是当前的不二选择。image.png
会上,阿里云数据库产品事业部RDS及开源OLAP负责人彭祥分享了云数据库RDS的最新技术与产品演进,重点聚焦于云原生数据库存储的演进和RDS的开放形态。随着云原生数据库架构的持续优化,阿里云RDS通过冷温热数据分层存储的理念,推出了RDS通用云盘,以支持更高性能、更低成本和更好弹性的产品。同时,借助对MySQL和PostgreSQL内核的深度改造,并与云基础设施和服务紧密结合,推出了基于对象存储的全量数据管理能力RDS On OSS,使事务型数据库MySQL和PostgreSQL能够完全依赖对象存储进行用户数据管理,提供了更具性价比的选择。
此外,RDS的开放形态RDS Custom使用户能够更方便地管理云上及云下IDC的数据服务,实现用户现有数据架构与RDS托管服务的无缝集成,提升了业务架构的灵活性。这一形态的推出不仅提高了用户开发效率,还使企业能够根据自身需求快速迭代和创新。通过这些技术进步,阿里云RDS在满足企业对高可用性和可扩展性要求的同时,也为数字化转型提供了强有力的支持。总体而言,RDS在技术与产品上的持续演进标志着云数据库未来的发展方向,助力企业实现更高效的业务运营。image.png
平安科技数据库总工程师汪洋在分享《金融场景下对于关系型数据库的要求》中提到,金融数据库当前最重要的4个要求是:业务连续性、数据安全、可运维性、降本增效,基于平安科技在数据库多年实践,从高可用、系统容灾、数据安全、可观测性、综合成本等多维度深入解读了大型金融机构对数据库的严苛要求。
平安科技利用阿里云RDS、PolarDB等数据库产品构建了普惠金融系统,实现了业务0停机迁移和综合成本的显著下降。image.png
image.png
阿里云数据库产品事业部高级技术专家胡庆达和阿里云服务器研发高级技术专家汪堃 在《软硬联合创新:打造极致压缩比的高性能瑶池数据库》演讲中介绍了PolarDB在软硬联合创新方面的进展。他表示,PolarDB通过软硬协同演进,PolarStore升级为DeepSea,DeepSea在大幅优化了数据库成本的同时显著提升了数据库的性能,并通过云计算的方式,将新硬件新技术分享给客户。
例如:新一代SmartSSD 3.0,在SmartSSD 2.0的基础上进一步优化了成本和性能,最高提供4倍的硬件压缩比,并支持租户级别的硬件加密能力。基于SmartSSD 3.0,DeepSea打造了双层软硬协同压缩方案,基于DeepSea的PolarDB MySQL和PG,在压缩比和性能方面全面领先于基于LSM-Tree的竞品数据库,并提供了PB级的存储规模扩展性。新一代持久化内存AliSCM,在延迟接近传统内存的情况下提供了持久化的能力。
基于AliSCM,PolarDB DeepSea构建了混合分层内存池,提供了ECA弹性缓存加速器的能力,数据库写操作在AliSCM形成三副本后即可返回,读操作命中ECA后即可返回,数据读写延迟大幅下降。image.png
AMD作为全球领先的半导体公司, 专注于打造领先的高性能和自适应计算产品,提供包括CPU,GPU, FPGA,自适应SOC和DPU,以及专业的软件支持,为云、边缘和终端设备提供领先的AI计算平台。AMD EPYC CPU为AI的算力提供有力保障,基于阿里云数据库也在着力从数据到智能的变换,AMD服务器产品线高级产品经理宋学红在会上发表题为《AMD EPYC 全面赋能阿里云数据库》的主题演讲,展示了EPYC CPU的技术演进,领先的技术创新,产品路标,架构设计,产品规格,更好的性能表现。在第四代EPYC CPU Genoa上和阿里云深度合作,借助于新一代EPYC更高核心密度,更高性能,更安全,全面支持阿里云数据库实现性能大幅提升,从AnalyticDB、PolarDB、RDS到阿里云瑶池数据库的全面产品支撑,为阿里云瑶池实现从数据到智能的云原生数据库提供更高性能的基础设施。image.png
小赢科技运维总监李斌在演讲中分享了PolarDB在金融科技行业的最佳实践。他表示,金融科技行业数据量大,存在亿级大表JOIN复杂分析查询、大存储和弹性伸缩的需求,PolarDB的列存索引IMCI在复杂查询场景性能提升30-100倍,搭配Serverless在业务波峰时段可以按需无感弹升,极大的提升了用户体验,也平衡了使用成本。
金融行业对数据一致性有强要求,PolarDB SCC高性能强一致特性解决了只读库延时导致读不一致的问题,在数据延迟敏感的金融交易业务中性能得到了进一步提升。金融科技行业有海量的历史数据,X-Engine高压缩引擎 + PolarStore PSL4硬件压缩,相比MySQL压缩了11倍,而且支持在线实时查询,极大的降低了历史数据存储和使用成本。
image.png
阿里云数据库产品事业部高级产品专家许鸿斌在《瑶池数据库容灾体系:助力数据业务持续在线》的主题演讲中提到,瑶池数据库提供了多层级容灾体系,可助力企业快速构建数据级-应用级-业务级的容灾能力。应对机房级故障,阿里云瑶池跨多个可用区部署的实例可提供秒级RTO及RPO=0的保障;应对机房所在城市发生地域级故障,瑶池提供的跨地域容灾实例,可实现分钟级的RPO及RTO保障。同时基于瑶池全球多活数据库能力,可快速构建单元化、全球化业务。企业可根据具体业务属性,在瑶池数据库多层级容灾架构上进行灵活选择,支撑数据业务持续在线。
image.png

迅雷集团运维经理陈震宇在《迅雷集团RDS异地多活实践》的分享中介绍:“在应用层上,迅雷进行了业务单元化的服务改造,按属性划分了:核心业务单元、共享业务单元、全局单元。在数据层上,针对不同的业务单元,迅雷利用RDS MySQL全球多活容灾的产品能力进行了灵活的形态适配,完成了两地三中心架构的全面改造。不仅实现了分钟级的RTO、高质量的数据保护、业务就近访问,还有效提升了核心系统的连续性和安全性,展示了迅雷在容灾多活建设上的深入探索和创新实践。”

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
1月前
|
人工智能 关系型数据库 分布式数据库
拥抱Data+AI|“全球第一”雅迪如何实现智能营销?DMS+PolarDB注入数据新活力
针对雅迪“云销通App”的需求与痛点,本文将介绍阿里云瑶池数据库DMS+PolarDB for AI提供的一站式Data+AI解决方案,助力销售人员高效用数,全面提升销售管理效率。
|
27天前
|
存储 监控 数据处理
flink 向doris 数据库写入数据时出现背压如何排查?
本文介绍了如何确定和解决Flink任务向Doris数据库写入数据时遇到的背压问题。首先通过Flink Web UI和性能指标监控识别背压,然后从Doris数据库性能、网络连接稳定性、Flink任务数据处理逻辑及资源配置等方面排查原因,并通过分析相关日志进一步定位问题。
157 61
|
1月前
|
人工智能 数据挖掘 数据库
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
本文为数据库「拥抱Data+AI」系列连载第1篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本篇内容针对电商行业痛点,将深入探讨如何利用数据与AI技术以及数据分析方法论,为电商行业注入新的活力与效能。
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
|
25天前
|
关系型数据库 MySQL 数据库
GBase 数据库如何像MYSQL一样存放多行数据
GBase 数据库如何像MYSQL一样存放多行数据
|
1月前
|
人工智能 运维 关系型数据库
云栖大会|数据库与AI全面融合,迈入数据智能新纪元
2024年云栖大会「数据库与AI融合」专场,来自NVIDIA、宇视科技、合思信息、杭州光云科技、MiniMax等企业的代表与阿里云瑶池数据库团队,共同分享了Data+AI全面融合的最新技术进展。阿里云发布了DMS的跨云统一开放元数据OneMeta和智能开发OneOps,推出《云数据库运维》技术图书,并介绍了PolarDB、AnalyticDB、Lindorm和Tair等产品的最新能力,展示了AI在数据库领域的广泛应用和创新。
209 15
|
1月前
|
人工智能 运维 NoSQL
云栖大会|多模+一体化,构建更高效的AI应用
在2024年云栖大会「NoSQL数据库」专场,多位知名企业和阿里云瑶池数据库团队的技术专家,共同分享了阿里云Lindorm、Tair、MongoDB和MyBase的最新进展与实践。Tair推出Serverless KV服务,解决性能瓶颈和运维难题;Lindorm助力AI和具身智能时代的多模数据处理;MongoDB云原生化提升开发效率;MyBase One打破云边界,提供云边端一体化服务。这些技术进展和最佳实践,展示了阿里云在NoSQL数据库领域的创新能力和广泛应用前景。
|
12天前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
82 15
|
6天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
|
13天前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。
|
17天前
|
SQL 关系型数据库 MySQL
MySQL导入.sql文件后数据库乱码问题
本文分析了导入.sql文件后数据库备注出现乱码的原因,包括字符集不匹配、备注内容编码问题及MySQL版本或配置问题,并提供了详细的解决步骤,如检查和统一字符集设置、修改客户端连接方式、检查MySQL配置等,确保导入过程顺利。

热门文章

最新文章

相关产品

  • 数据管理
  • 下一篇
    DataWorks