云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。

在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
image.png
在开篇演讲中,阿里云数据库产品事业部PolarDB MySQL及PostgreSQL负责人杨辛军分享了PolarDB多个重要发布。包括:PolarDB的存储底座再升级,在其PolarStore Deepsea版本,存储量提升100倍至1 PB,读写性能延迟降低3倍至30微秒,大幅领先普通云盘超6倍。提供软硬一体化压缩,平均压缩率到5倍。
此外,他还详细解读了PolarDB 多主多写、Serverless两个重要功能,这两个功能分别在世界顶级数据会议ACM SIGMOD,IEEE ICDE上斩获中国及亚洲第一个工业赛道最佳论文奖。同时,PolarDB在AI浪潮下,也积极提供用户AI相关的能力,帮助用户充分利用数据,进行场景化模型的训练和推理,帮助用户进行信息挖掘和有效决断。image.png
在分享《游戏全生命周期上云方法论》的过程中,FunPlus运维负责人刘宗庆从兼容性、极致性能、弹性拓展、备份与恢复、高可用性及容灾等多个角度,详细阐述了PolarDB在游戏场景中的全面优化优势,以及如何支持游戏业务的快速迭代和无缝扩展。目前,Funplus的多款热门游戏都采用PolarDB MySQL作为持久化数据库。凭借分布式存储和多线程技术,PolarDB提供超大IO读写带宽,确保玩家在高峰期能够流畅地进行存档和回档。
image.png
太美医疗科技副总裁黄玉飞在《太美医疗:PolarDB助力医药研发数据安全应用》的分享中结合太美自身业务实践,具体形象的阐述了PolarDB为太美在技术以及业务领域所带来的提升。
在医药研发场景下,除了在技术上需要保证高可用、弹性扩展、完全兼容MySQL、性价比高等特点之外,还需要满足临床数据的严格的ALCOA+ 规范化要求,以及逻辑核查准确性、业务数据锁库、业务数据回退等行业业务需求。借助PolarDB在高性能全局一致性、闪回查询、数据生命周期管理、透明加密、动态脱敏等方面的特性,一方面帮助客户解决了上述业务场景的需求以及数据合规管理的要求,另一方面提供了稳定、高效、高性价比的数据库平台支撑了太美医疗整体业务。
在分享最后,黄总也希望未来能够在Serverless、HTAP以及全球化应用等方面与PolarDB有更深入的合作。image.png
阿里云数据库产品事业部资深产品专家张广舟在《PolarDB PostgreSQL版:商业数据库替换与企业上云首选》演讲中,介绍了PolarDB PostgreSQL版在Serverless、性能、成本、多模等方面的特性更新。Serverless方面,PolarDB实现了横向和纵向的弹升能力,可以秒级扩展节点资源,同时按需扩展节点数量。性能方面,最近一年OLTP性能提升30%以上;借助向量化加速引擎,分析型查询性能提升一个数量级。成本方面,发布了硬件压缩、冷热数据自动分层能力。多模方面,添加了向量、时序及图数据的处理引擎,降低了应用开发成本。
另外,PolarDB PostgreSQL版还增强了Oracle兼容性,推出了轻量化输出形态,符合安全可信要求,可以软件化输出、单台起建,方便客户部署和使用。PolarDB已经成为越来越多企业客户上云和商业数据库替换的首选。image.png
在《PolarDB分布式版:与云融合的分布式数据库发展新阶段》主题分享中,阿里云数据库产品事业部PolarDB分布式版负责人黄贵表示:“自服务阿里集团核心业务以来,PolarDB分布式版走过了分布式中间件到一体化分布式数据库阶段,正迈向云原生分布式数据库阶段。集中分布式一体化的能力利用云基础设施的资源池获得充分的弹性,降低用户使用门槛,随着用户业务的规模伸缩。零售以及电商中台等SaaS应用更是利用PolarDB分布式的资源隔离特性将不同租户动态分配的独立的资源池中,保证互不影响。”
PolarDB分布式提供了默认多可用区容灾的能力,保证RPO=0的同时服务秒级切换;支持跨地域的容灾与多活帮助企业级用户跨域业务永不停机的服务能力;引入了实时同步的列存副本加速复杂查询(TPCH 100GB相对行存6.5倍性能提升),透明添加列式只读节点支持事务与分析的一体化服务,利用列存副本的超强压缩能力,与TTL行级归档特性,将用户的历史数据进行自动归档,最大可降低存储成本20倍。image.png
中国石油化工集团有限公司冠德数智开发部总负责人杨毅在题为《数字化转型战略下的新一代零售中台建设思考》强调,中台业务之所以必须选择分布式数据库,原因有二:Share-nothing分布式数据库的整体高可用性是主要考量,由于数据分布在不同节点,每个节点的数据副本部署于不同机房,所以分布式数据库的整体可用性更高;分布式数据库的扩展性能轻松应对海量数据存储与瞬时高并发访问也是中台业务必须选择分布式数据库的原因之一。
他列举了石化销售公司围绕打造世界一流“油气氢电服”综合能源服务商的目标过程中使用PolarDB-X解决对实际问题,如使用全局二级索引(GSI)实现异构查询;使用冷数据归档进行海亮存储资源降本等。杨毅在中石化零售中台的展望环节中提到,容灾多活是下一步的建设目标,PolarDB-X的高级容灾能力是当前的不二选择。image.png
会上,阿里云数据库产品事业部RDS及开源OLAP负责人彭祥分享了云数据库RDS的最新技术与产品演进,重点聚焦于云原生数据库存储的演进和RDS的开放形态。随着云原生数据库架构的持续优化,阿里云RDS通过冷温热数据分层存储的理念,推出了RDS通用云盘,以支持更高性能、更低成本和更好弹性的产品。同时,借助对MySQL和PostgreSQL内核的深度改造,并与云基础设施和服务紧密结合,推出了基于对象存储的全量数据管理能力RDS On OSS,使事务型数据库MySQL和PostgreSQL能够完全依赖对象存储进行用户数据管理,提供了更具性价比的选择。
此外,RDS的开放形态RDS Custom使用户能够更方便地管理云上及云下IDC的数据服务,实现用户现有数据架构与RDS托管服务的无缝集成,提升了业务架构的灵活性。这一形态的推出不仅提高了用户开发效率,还使企业能够根据自身需求快速迭代和创新。通过这些技术进步,阿里云RDS在满足企业对高可用性和可扩展性要求的同时,也为数字化转型提供了强有力的支持。总体而言,RDS在技术与产品上的持续演进标志着云数据库未来的发展方向,助力企业实现更高效的业务运营。image.png
平安科技数据库总工程师汪洋在分享《金融场景下对于关系型数据库的要求》中提到,金融数据库当前最重要的4个要求是:业务连续性、数据安全、可运维性、降本增效,基于平安科技在数据库多年实践,从高可用、系统容灾、数据安全、可观测性、综合成本等多维度深入解读了大型金融机构对数据库的严苛要求。
平安科技利用阿里云RDS、PolarDB等数据库产品构建了普惠金融系统,实现了业务0停机迁移和综合成本的显著下降。image.png
image.png
阿里云数据库产品事业部高级技术专家胡庆达和阿里云服务器研发高级技术专家汪堃 在《软硬联合创新:打造极致压缩比的高性能瑶池数据库》演讲中介绍了PolarDB在软硬联合创新方面的进展。他表示,PolarDB通过软硬协同演进,PolarStore升级为DeepSea,DeepSea在大幅优化了数据库成本的同时显著提升了数据库的性能,并通过云计算的方式,将新硬件新技术分享给客户。
例如:新一代SmartSSD 3.0,在SmartSSD 2.0的基础上进一步优化了成本和性能,最高提供4倍的硬件压缩比,并支持租户级别的硬件加密能力。基于SmartSSD 3.0,DeepSea打造了双层软硬协同压缩方案,基于DeepSea的PolarDB MySQL和PG,在压缩比和性能方面全面领先于基于LSM-Tree的竞品数据库,并提供了PB级的存储规模扩展性。新一代持久化内存AliSCM,在延迟接近传统内存的情况下提供了持久化的能力。
基于AliSCM,PolarDB DeepSea构建了混合分层内存池,提供了ECA弹性缓存加速器的能力,数据库写操作在AliSCM形成三副本后即可返回,读操作命中ECA后即可返回,数据读写延迟大幅下降。image.png
AMD作为全球领先的半导体公司, 专注于打造领先的高性能和自适应计算产品,提供包括CPU,GPU, FPGA,自适应SOC和DPU,以及专业的软件支持,为云、边缘和终端设备提供领先的AI计算平台。AMD EPYC CPU为AI的算力提供有力保障,基于阿里云数据库也在着力从数据到智能的变换,AMD服务器产品线高级产品经理宋学红在会上发表题为《AMD EPYC 全面赋能阿里云数据库》的主题演讲,展示了EPYC CPU的技术演进,领先的技术创新,产品路标,架构设计,产品规格,更好的性能表现。在第四代EPYC CPU Genoa上和阿里云深度合作,借助于新一代EPYC更高核心密度,更高性能,更安全,全面支持阿里云数据库实现性能大幅提升,从AnalyticDB、PolarDB、RDS到阿里云瑶池数据库的全面产品支撑,为阿里云瑶池实现从数据到智能的云原生数据库提供更高性能的基础设施。image.png
小赢科技运维总监李斌在演讲中分享了PolarDB在金融科技行业的最佳实践。他表示,金融科技行业数据量大,存在亿级大表JOIN复杂分析查询、大存储和弹性伸缩的需求,PolarDB的列存索引IMCI在复杂查询场景性能提升30-100倍,搭配Serverless在业务波峰时段可以按需无感弹升,极大的提升了用户体验,也平衡了使用成本。
金融行业对数据一致性有强要求,PolarDB SCC高性能强一致特性解决了只读库延时导致读不一致的问题,在数据延迟敏感的金融交易业务中性能得到了进一步提升。金融科技行业有海量的历史数据,X-Engine高压缩引擎 + PolarStore PSL4硬件压缩,相比MySQL压缩了11倍,而且支持在线实时查询,极大的降低了历史数据存储和使用成本。
image.png
阿里云数据库产品事业部高级产品专家许鸿斌在《瑶池数据库容灾体系:助力数据业务持续在线》的主题演讲中提到,瑶池数据库提供了多层级容灾体系,可助力企业快速构建数据级-应用级-业务级的容灾能力。应对机房级故障,阿里云瑶池跨多个可用区部署的实例可提供秒级RTO及RPO=0的保障;应对机房所在城市发生地域级故障,瑶池提供的跨地域容灾实例,可实现分钟级的RPO及RTO保障。同时基于瑶池全球多活数据库能力,可快速构建单元化、全球化业务。企业可根据具体业务属性,在瑶池数据库多层级容灾架构上进行灵活选择,支撑数据业务持续在线。
image.png

迅雷集团运维经理陈震宇在《迅雷集团RDS异地多活实践》的分享中介绍:“在应用层上,迅雷进行了业务单元化的服务改造,按属性划分了:核心业务单元、共享业务单元、全局单元。在数据层上,针对不同的业务单元,迅雷利用RDS MySQL全球多活容灾的产品能力进行了灵活的形态适配,完成了两地三中心架构的全面改造。不仅实现了分钟级的RTO、高质量的数据保护、业务就近访问,还有效提升了核心系统的连续性和安全性,展示了迅雷在容灾多活建设上的深入探索和创新实践。”

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
15天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
14天前
|
机器学习/深度学习 人工智能 算法
整合海量公共数据,谷歌开源AI统计学专家DataGemma
【10月更文挑战第28天】谷歌近期开源了DataGemma,一款AI统计学专家工具,旨在帮助用户轻松整合和利用海量公共数据。DataGemma不仅提供便捷的数据访问和处理功能,还具备强大的数据分析能力,支持描述性统计、回归分析和聚类分析等。其开源性质和广泛的数据来源使其成为AI研究和应用的重要工具,有助于加速研究进展和推动数据共享。
43 6
|
15天前
|
人工智能 运维 关系型数据库
云栖大会|数据库与AI全面融合,迈入数据智能新纪元
2024年云栖大会「数据库与AI融合」专场,来自NVIDIA、宇视科技、合思信息、杭州光云科技、MiniMax等企业的代表与阿里云瑶池数据库团队,共同分享了Data+AI全面融合的最新技术进展。阿里云发布了DMS的跨云统一开放元数据OneMeta和智能开发OneOps,推出《云数据库运维》技术图书,并介绍了PolarDB、AnalyticDB、Lindorm和Tair等产品的最新能力,展示了AI在数据库领域的广泛应用和创新。
|
6天前
|
人工智能 自然语言处理 关系型数据库
从数据到智能,一站式带你了解 Data+AI 精选解决方案、特惠权益
从 Data+AI 精选解决方案、特惠权益等,一站式带你了解阿里云瑶池数据库经典的AI产品服务与实践。
|
15天前
|
存储 人工智能 调度
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
15天前
|
人工智能 运维 NoSQL
云栖大会|多模+一体化,构建更高效的AI应用
在2024年云栖大会「NoSQL数据库」专场,多位知名企业和阿里云瑶池数据库团队的技术专家,共同分享了阿里云Lindorm、Tair、MongoDB和MyBase的最新进展与实践。Tair推出Serverless KV服务,解决性能瓶颈和运维难题;Lindorm助力AI和具身智能时代的多模数据处理;MongoDB云原生化提升开发效率;MyBase One打破云边界,提供云边端一体化服务。这些技术进展和最佳实践,展示了阿里云在NoSQL数据库领域的创新能力和广泛应用前景。
|
9天前
|
存储 人工智能 大数据
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
AI在医疗领域的应用及其挑战
【10月更文挑战第34天】本文将探讨人工智能(AI)在医疗领域的应用及其面临的挑战。我们将从AI技术的基本概念入手,然后详细介绍其在医疗领域的各种应用,如疾病诊断、药物研发、患者护理等。最后,我们将讨论AI在医疗领域面临的主要挑战,包括数据隐私、算法偏见、法规合规等问题。
28 1

热门文章

最新文章

相关产品

  • 数据管理