云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?

本文涉及的产品
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。

在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
image.png
在开篇演讲中,阿里云数据库产品事业部PolarDB MySQL及PostgreSQL负责人杨辛军分享了PolarDB多个重要发布。包括:PolarDB的存储底座再升级,在其PolarStore Deepsea版本,存储量提升100倍至1 PB,读写性能延迟降低3倍至30微秒,大幅领先普通云盘超6倍。提供软硬一体化压缩,平均压缩率到5倍。
此外,他还详细解读了PolarDB 多主多写、Serverless两个重要功能,这两个功能分别在世界顶级数据会议ACM SIGMOD,IEEE ICDE上斩获中国及亚洲第一个工业赛道最佳论文奖。同时,PolarDB在AI浪潮下,也积极提供用户AI相关的能力,帮助用户充分利用数据,进行场景化模型的训练和推理,帮助用户进行信息挖掘和有效决断。image.png
在分享《游戏全生命周期上云方法论》的过程中,FunPlus运维负责人刘宗庆从兼容性、极致性能、弹性拓展、备份与恢复、高可用性及容灾等多个角度,详细阐述了PolarDB在游戏场景中的全面优化优势,以及如何支持游戏业务的快速迭代和无缝扩展。目前,Funplus的多款热门游戏都采用PolarDB MySQL作为持久化数据库。凭借分布式存储和多线程技术,PolarDB提供超大IO读写带宽,确保玩家在高峰期能够流畅地进行存档和回档。
image.png
太美医疗科技副总裁黄玉飞在《太美医疗:PolarDB助力医药研发数据安全应用》的分享中结合太美自身业务实践,具体形象的阐述了PolarDB为太美在技术以及业务领域所带来的提升。
在医药研发场景下,除了在技术上需要保证高可用、弹性扩展、完全兼容MySQL、性价比高等特点之外,还需要满足临床数据的严格的ALCOA+ 规范化要求,以及逻辑核查准确性、业务数据锁库、业务数据回退等行业业务需求。借助PolarDB在高性能全局一致性、闪回查询、数据生命周期管理、透明加密、动态脱敏等方面的特性,一方面帮助客户解决了上述业务场景的需求以及数据合规管理的要求,另一方面提供了稳定、高效、高性价比的数据库平台支撑了太美医疗整体业务。
在分享最后,黄总也希望未来能够在Serverless、HTAP以及全球化应用等方面与PolarDB有更深入的合作。image.png
阿里云数据库产品事业部资深产品专家张广舟在《PolarDB PostgreSQL版:商业数据库替换与企业上云首选》演讲中,介绍了PolarDB PostgreSQL版在Serverless、性能、成本、多模等方面的特性更新。Serverless方面,PolarDB实现了横向和纵向的弹升能力,可以秒级扩展节点资源,同时按需扩展节点数量。性能方面,最近一年OLTP性能提升30%以上;借助向量化加速引擎,分析型查询性能提升一个数量级。成本方面,发布了硬件压缩、冷热数据自动分层能力。多模方面,添加了向量、时序及图数据的处理引擎,降低了应用开发成本。
另外,PolarDB PostgreSQL版还增强了Oracle兼容性,推出了轻量化输出形态,符合安全可信要求,可以软件化输出、单台起建,方便客户部署和使用。PolarDB已经成为越来越多企业客户上云和商业数据库替换的首选。image.png
在《PolarDB分布式版:与云融合的分布式数据库发展新阶段》主题分享中,阿里云数据库产品事业部PolarDB分布式版负责人黄贵表示:“自服务阿里集团核心业务以来,PolarDB分布式版走过了分布式中间件到一体化分布式数据库阶段,正迈向云原生分布式数据库阶段。集中分布式一体化的能力利用云基础设施的资源池获得充分的弹性,降低用户使用门槛,随着用户业务的规模伸缩。零售以及电商中台等SaaS应用更是利用PolarDB分布式的资源隔离特性将不同租户动态分配的独立的资源池中,保证互不影响。”
PolarDB分布式提供了默认多可用区容灾的能力,保证RPO=0的同时服务秒级切换;支持跨地域的容灾与多活帮助企业级用户跨域业务永不停机的服务能力;引入了实时同步的列存副本加速复杂查询(TPCH 100GB相对行存6.5倍性能提升),透明添加列式只读节点支持事务与分析的一体化服务,利用列存副本的超强压缩能力,与TTL行级归档特性,将用户的历史数据进行自动归档,最大可降低存储成本20倍。image.png
中国石油化工集团有限公司冠德数智开发部总负责人杨毅在题为《数字化转型战略下的新一代零售中台建设思考》强调,中台业务之所以必须选择分布式数据库,原因有二:Share-nothing分布式数据库的整体高可用性是主要考量,由于数据分布在不同节点,每个节点的数据副本部署于不同机房,所以分布式数据库的整体可用性更高;分布式数据库的扩展性能轻松应对海量数据存储与瞬时高并发访问也是中台业务必须选择分布式数据库的原因之一。
他列举了石化销售公司围绕打造世界一流“油气氢电服”综合能源服务商的目标过程中使用PolarDB-X解决对实际问题,如使用全局二级索引(GSI)实现异构查询;使用冷数据归档进行海亮存储资源降本等。杨毅在中石化零售中台的展望环节中提到,容灾多活是下一步的建设目标,PolarDB-X的高级容灾能力是当前的不二选择。image.png
会上,阿里云数据库产品事业部RDS及开源OLAP负责人彭祥分享了云数据库RDS的最新技术与产品演进,重点聚焦于云原生数据库存储的演进和RDS的开放形态。随着云原生数据库架构的持续优化,阿里云RDS通过冷温热数据分层存储的理念,推出了RDS通用云盘,以支持更高性能、更低成本和更好弹性的产品。同时,借助对MySQL和PostgreSQL内核的深度改造,并与云基础设施和服务紧密结合,推出了基于对象存储的全量数据管理能力RDS On OSS,使事务型数据库MySQL和PostgreSQL能够完全依赖对象存储进行用户数据管理,提供了更具性价比的选择。
此外,RDS的开放形态RDS Custom使用户能够更方便地管理云上及云下IDC的数据服务,实现用户现有数据架构与RDS托管服务的无缝集成,提升了业务架构的灵活性。这一形态的推出不仅提高了用户开发效率,还使企业能够根据自身需求快速迭代和创新。通过这些技术进步,阿里云RDS在满足企业对高可用性和可扩展性要求的同时,也为数字化转型提供了强有力的支持。总体而言,RDS在技术与产品上的持续演进标志着云数据库未来的发展方向,助力企业实现更高效的业务运营。image.png
平安科技数据库总工程师汪洋在分享《金融场景下对于关系型数据库的要求》中提到,金融数据库当前最重要的4个要求是:业务连续性、数据安全、可运维性、降本增效,基于平安科技在数据库多年实践,从高可用、系统容灾、数据安全、可观测性、综合成本等多维度深入解读了大型金融机构对数据库的严苛要求。
平安科技利用阿里云RDS、PolarDB等数据库产品构建了普惠金融系统,实现了业务0停机迁移和综合成本的显著下降。image.png
image.png
阿里云数据库产品事业部高级技术专家胡庆达和阿里云服务器研发高级技术专家汪堃 在《软硬联合创新:打造极致压缩比的高性能瑶池数据库》演讲中介绍了PolarDB在软硬联合创新方面的进展。他表示,PolarDB通过软硬协同演进,PolarStore升级为DeepSea,DeepSea在大幅优化了数据库成本的同时显著提升了数据库的性能,并通过云计算的方式,将新硬件新技术分享给客户。
例如:新一代SmartSSD 3.0,在SmartSSD 2.0的基础上进一步优化了成本和性能,最高提供4倍的硬件压缩比,并支持租户级别的硬件加密能力。基于SmartSSD 3.0,DeepSea打造了双层软硬协同压缩方案,基于DeepSea的PolarDB MySQL和PG,在压缩比和性能方面全面领先于基于LSM-Tree的竞品数据库,并提供了PB级的存储规模扩展性。新一代持久化内存AliSCM,在延迟接近传统内存的情况下提供了持久化的能力。
基于AliSCM,PolarDB DeepSea构建了混合分层内存池,提供了ECA弹性缓存加速器的能力,数据库写操作在AliSCM形成三副本后即可返回,读操作命中ECA后即可返回,数据读写延迟大幅下降。image.png
AMD作为全球领先的半导体公司, 专注于打造领先的高性能和自适应计算产品,提供包括CPU,GPU, FPGA,自适应SOC和DPU,以及专业的软件支持,为云、边缘和终端设备提供领先的AI计算平台。AMD EPYC CPU为AI的算力提供有力保障,基于阿里云数据库也在着力从数据到智能的变换,AMD服务器产品线高级产品经理宋学红在会上发表题为《AMD EPYC 全面赋能阿里云数据库》的主题演讲,展示了EPYC CPU的技术演进,领先的技术创新,产品路标,架构设计,产品规格,更好的性能表现。在第四代EPYC CPU Genoa上和阿里云深度合作,借助于新一代EPYC更高核心密度,更高性能,更安全,全面支持阿里云数据库实现性能大幅提升,从AnalyticDB、PolarDB、RDS到阿里云瑶池数据库的全面产品支撑,为阿里云瑶池实现从数据到智能的云原生数据库提供更高性能的基础设施。image.png
小赢科技运维总监李斌在演讲中分享了PolarDB在金融科技行业的最佳实践。他表示,金融科技行业数据量大,存在亿级大表JOIN复杂分析查询、大存储和弹性伸缩的需求,PolarDB的列存索引IMCI在复杂查询场景性能提升30-100倍,搭配Serverless在业务波峰时段可以按需无感弹升,极大的提升了用户体验,也平衡了使用成本。
金融行业对数据一致性有强要求,PolarDB SCC高性能强一致特性解决了只读库延时导致读不一致的问题,在数据延迟敏感的金融交易业务中性能得到了进一步提升。金融科技行业有海量的历史数据,X-Engine高压缩引擎 + PolarStore PSL4硬件压缩,相比MySQL压缩了11倍,而且支持在线实时查询,极大的降低了历史数据存储和使用成本。
image.png
阿里云数据库产品事业部高级产品专家许鸿斌在《瑶池数据库容灾体系:助力数据业务持续在线》的主题演讲中提到,瑶池数据库提供了多层级容灾体系,可助力企业快速构建数据级-应用级-业务级的容灾能力。应对机房级故障,阿里云瑶池跨多个可用区部署的实例可提供秒级RTO及RPO=0的保障;应对机房所在城市发生地域级故障,瑶池提供的跨地域容灾实例,可实现分钟级的RPO及RTO保障。同时基于瑶池全球多活数据库能力,可快速构建单元化、全球化业务。企业可根据具体业务属性,在瑶池数据库多层级容灾架构上进行灵活选择,支撑数据业务持续在线。
image.png

迅雷集团运维经理陈震宇在《迅雷集团RDS异地多活实践》的分享中介绍:“在应用层上,迅雷进行了业务单元化的服务改造,按属性划分了:核心业务单元、共享业务单元、全局单元。在数据层上,针对不同的业务单元,迅雷利用RDS MySQL全球多活容灾的产品能力进行了灵活的形态适配,完成了两地三中心架构的全面改造。不仅实现了分钟级的RTO、高质量的数据保护、业务就近访问,还有效提升了核心系统的连续性和安全性,展示了迅雷在容灾多活建设上的深入探索和创新实践。”

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
目录
打赏
0
3
4
0
38
分享
相关文章
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Data Formulator 是微软研究院推出的开源 AI 数据可视化工具,结合图形化界面和自然语言输入,帮助用户快速创建复杂的可视化图表。
158 9
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Airweave:快速集成应用数据打造AI知识库的开源平台,支持多源整合和自动同步数据
Airweave 是一个开源工具,能够将应用程序的数据同步到图数据库和向量数据库中,实现智能代理检索。它支持无代码集成、多租户支持和自动同步等功能。
66 14
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Kiln AI 是一款开源的 AI 开发工具,支持零代码微调多种语言模型,生成合成数据,团队协作开发,自动部署。帮助用户快速构建高质量的 AI 模型。
388 7
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
数据标准是数据治理的核心抓手,通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程,实现自动化的数据标准建立、质量规则构建和特征识别,助力企业在大模型时代高效治理数据,推动数据真正为业务服务。
337 28
瓴羊Dataphin:AI驱动的数据治理——千里之行,始于标准 |【瓴羊数据荟】数据MeetUp第三期
Spring AI 智能体通过 MCP 集成本地文件数据
MCP 作为一款开放协议,直接规范了应用程序如何向 LLM 提供上下文。MCP 就像是面向 AI 应用程序的 USB-C 端口,正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样,MCP 提供了一个将 AI 模型连接到不同数据源和工具的标准化方法。
智能电网巡检与传感器数据AI自动分析
智能电网设备巡检与传感器数据分析利用AI技术实现自动化分析和预警。通过信息抽取、OCR技术和机器学习,系统可高效处理巡检报告和实时数据,生成精准报告并提供故障预判和早期识别。AI系统24小时监控设备状态,实时发出异常警报,确保设备正常运行,提升运维效率和可靠性。
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
144 75
技术分享:智能电网巡检与传感器数据自动分析——AI助力设备状态实时监控与故障预警
这篇文章介绍了AI在智能电网巡检与传感器数据分析中的应用,通过信息抽取、OCR识别和机器学习等技术,实现设备状态监控和故障预警的自动化。AI系统能够高效处理巡检报告和传感器数据,精准识别设备故障并实时预警,显著提升了电网运营的安全性和可靠性。随着AI技术的发展,其在智能电网管理中的作用将日益重要。
Casevo:开源的社会传播模拟系统,基于 AI 模拟人类认知、决策和社会交互,预测社会传播现象
Casevo 是中国传媒大学推出的开源社会传播模拟系统,结合大语言模型和多智能体技术,支持复杂社会网络建模与动态交互,适用于新闻传播、社会计算等领域。
120 22
Casevo:开源的社会传播模拟系统,基于 AI 模拟人类认知、决策和社会交互,预测社会传播现象
构建AI数据管道:从数据到洞察的高效之旅最佳实践
本文探讨了大模型从数据处理、模型训练到推理的全流程解决方案,特别强调数据、算法和算力三大要素。在数据处理方面,介绍了多模态数据的高效清洗与存储优化;模型训练中,重点解决了大规模数据集和CheckPoint的高效管理;推理部分则通过P2P分布式加载等技术提升效率。案例展示了如何在云平台上实现高性能、低成本的数据处理与模型训练,确保业务场景下的最优表现。

热门文章

最新文章

相关产品

  • 数据管理
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等