云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。

在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
image.png
在开篇演讲中,阿里云数据库产品事业部PolarDB MySQL及PostgreSQL负责人杨辛军分享了PolarDB多个重要发布。包括:PolarDB的存储底座再升级,在其PolarStore Deepsea版本,存储量提升100倍至1 PB,读写性能延迟降低3倍至30微秒,大幅领先普通云盘超6倍。提供软硬一体化压缩,平均压缩率到5倍。
此外,他还详细解读了PolarDB 多主多写、Serverless两个重要功能,这两个功能分别在世界顶级数据会议ACM SIGMOD,IEEE ICDE上斩获中国及亚洲第一个工业赛道最佳论文奖。同时,PolarDB在AI浪潮下,也积极提供用户AI相关的能力,帮助用户充分利用数据,进行场景化模型的训练和推理,帮助用户进行信息挖掘和有效决断。image.png
在分享《游戏全生命周期上云方法论》的过程中,FunPlus运维负责人刘宗庆从兼容性、极致性能、弹性拓展、备份与恢复、高可用性及容灾等多个角度,详细阐述了PolarDB在游戏场景中的全面优化优势,以及如何支持游戏业务的快速迭代和无缝扩展。目前,Funplus的多款热门游戏都采用PolarDB MySQL作为持久化数据库。凭借分布式存储和多线程技术,PolarDB提供超大IO读写带宽,确保玩家在高峰期能够流畅地进行存档和回档。
image.png
太美医疗科技副总裁黄玉飞在《太美医疗:PolarDB助力医药研发数据安全应用》的分享中结合太美自身业务实践,具体形象的阐述了PolarDB为太美在技术以及业务领域所带来的提升。
在医药研发场景下,除了在技术上需要保证高可用、弹性扩展、完全兼容MySQL、性价比高等特点之外,还需要满足临床数据的严格的ALCOA+ 规范化要求,以及逻辑核查准确性、业务数据锁库、业务数据回退等行业业务需求。借助PolarDB在高性能全局一致性、闪回查询、数据生命周期管理、透明加密、动态脱敏等方面的特性,一方面帮助客户解决了上述业务场景的需求以及数据合规管理的要求,另一方面提供了稳定、高效、高性价比的数据库平台支撑了太美医疗整体业务。
在分享最后,黄总也希望未来能够在Serverless、HTAP以及全球化应用等方面与PolarDB有更深入的合作。image.png
阿里云数据库产品事业部资深产品专家张广舟在《PolarDB PostgreSQL版:商业数据库替换与企业上云首选》演讲中,介绍了PolarDB PostgreSQL版在Serverless、性能、成本、多模等方面的特性更新。Serverless方面,PolarDB实现了横向和纵向的弹升能力,可以秒级扩展节点资源,同时按需扩展节点数量。性能方面,最近一年OLTP性能提升30%以上;借助向量化加速引擎,分析型查询性能提升一个数量级。成本方面,发布了硬件压缩、冷热数据自动分层能力。多模方面,添加了向量、时序及图数据的处理引擎,降低了应用开发成本。
另外,PolarDB PostgreSQL版还增强了Oracle兼容性,推出了轻量化输出形态,符合安全可信要求,可以软件化输出、单台起建,方便客户部署和使用。PolarDB已经成为越来越多企业客户上云和商业数据库替换的首选。image.png
在《PolarDB分布式版:与云融合的分布式数据库发展新阶段》主题分享中,阿里云数据库产品事业部PolarDB分布式版负责人黄贵表示:“自服务阿里集团核心业务以来,PolarDB分布式版走过了分布式中间件到一体化分布式数据库阶段,正迈向云原生分布式数据库阶段。集中分布式一体化的能力利用云基础设施的资源池获得充分的弹性,降低用户使用门槛,随着用户业务的规模伸缩。零售以及电商中台等SaaS应用更是利用PolarDB分布式的资源隔离特性将不同租户动态分配的独立的资源池中,保证互不影响。”
PolarDB分布式提供了默认多可用区容灾的能力,保证RPO=0的同时服务秒级切换;支持跨地域的容灾与多活帮助企业级用户跨域业务永不停机的服务能力;引入了实时同步的列存副本加速复杂查询(TPCH 100GB相对行存6.5倍性能提升),透明添加列式只读节点支持事务与分析的一体化服务,利用列存副本的超强压缩能力,与TTL行级归档特性,将用户的历史数据进行自动归档,最大可降低存储成本20倍。image.png
中国石油化工集团有限公司冠德数智开发部总负责人杨毅在题为《数字化转型战略下的新一代零售中台建设思考》强调,中台业务之所以必须选择分布式数据库,原因有二:Share-nothing分布式数据库的整体高可用性是主要考量,由于数据分布在不同节点,每个节点的数据副本部署于不同机房,所以分布式数据库的整体可用性更高;分布式数据库的扩展性能轻松应对海量数据存储与瞬时高并发访问也是中台业务必须选择分布式数据库的原因之一。
他列举了石化销售公司围绕打造世界一流“油气氢电服”综合能源服务商的目标过程中使用PolarDB-X解决对实际问题,如使用全局二级索引(GSI)实现异构查询;使用冷数据归档进行海亮存储资源降本等。杨毅在中石化零售中台的展望环节中提到,容灾多活是下一步的建设目标,PolarDB-X的高级容灾能力是当前的不二选择。image.png
会上,阿里云数据库产品事业部RDS及开源OLAP负责人彭祥分享了云数据库RDS的最新技术与产品演进,重点聚焦于云原生数据库存储的演进和RDS的开放形态。随着云原生数据库架构的持续优化,阿里云RDS通过冷温热数据分层存储的理念,推出了RDS通用云盘,以支持更高性能、更低成本和更好弹性的产品。同时,借助对MySQL和PostgreSQL内核的深度改造,并与云基础设施和服务紧密结合,推出了基于对象存储的全量数据管理能力RDS On OSS,使事务型数据库MySQL和PostgreSQL能够完全依赖对象存储进行用户数据管理,提供了更具性价比的选择。
此外,RDS的开放形态RDS Custom使用户能够更方便地管理云上及云下IDC的数据服务,实现用户现有数据架构与RDS托管服务的无缝集成,提升了业务架构的灵活性。这一形态的推出不仅提高了用户开发效率,还使企业能够根据自身需求快速迭代和创新。通过这些技术进步,阿里云RDS在满足企业对高可用性和可扩展性要求的同时,也为数字化转型提供了强有力的支持。总体而言,RDS在技术与产品上的持续演进标志着云数据库未来的发展方向,助力企业实现更高效的业务运营。image.png
平安科技数据库总工程师汪洋在分享《金融场景下对于关系型数据库的要求》中提到,金融数据库当前最重要的4个要求是:业务连续性、数据安全、可运维性、降本增效,基于平安科技在数据库多年实践,从高可用、系统容灾、数据安全、可观测性、综合成本等多维度深入解读了大型金融机构对数据库的严苛要求。
平安科技利用阿里云RDS、PolarDB等数据库产品构建了普惠金融系统,实现了业务0停机迁移和综合成本的显著下降。image.png
image.png
阿里云数据库产品事业部高级技术专家胡庆达和阿里云服务器研发高级技术专家汪堃 在《软硬联合创新:打造极致压缩比的高性能瑶池数据库》演讲中介绍了PolarDB在软硬联合创新方面的进展。他表示,PolarDB通过软硬协同演进,PolarStore升级为DeepSea,DeepSea在大幅优化了数据库成本的同时显著提升了数据库的性能,并通过云计算的方式,将新硬件新技术分享给客户。
例如:新一代SmartSSD 3.0,在SmartSSD 2.0的基础上进一步优化了成本和性能,最高提供4倍的硬件压缩比,并支持租户级别的硬件加密能力。基于SmartSSD 3.0,DeepSea打造了双层软硬协同压缩方案,基于DeepSea的PolarDB MySQL和PG,在压缩比和性能方面全面领先于基于LSM-Tree的竞品数据库,并提供了PB级的存储规模扩展性。新一代持久化内存AliSCM,在延迟接近传统内存的情况下提供了持久化的能力。
基于AliSCM,PolarDB DeepSea构建了混合分层内存池,提供了ECA弹性缓存加速器的能力,数据库写操作在AliSCM形成三副本后即可返回,读操作命中ECA后即可返回,数据读写延迟大幅下降。image.png
AMD作为全球领先的半导体公司, 专注于打造领先的高性能和自适应计算产品,提供包括CPU,GPU, FPGA,自适应SOC和DPU,以及专业的软件支持,为云、边缘和终端设备提供领先的AI计算平台。AMD EPYC CPU为AI的算力提供有力保障,基于阿里云数据库也在着力从数据到智能的变换,AMD服务器产品线高级产品经理宋学红在会上发表题为《AMD EPYC 全面赋能阿里云数据库》的主题演讲,展示了EPYC CPU的技术演进,领先的技术创新,产品路标,架构设计,产品规格,更好的性能表现。在第四代EPYC CPU Genoa上和阿里云深度合作,借助于新一代EPYC更高核心密度,更高性能,更安全,全面支持阿里云数据库实现性能大幅提升,从AnalyticDB、PolarDB、RDS到阿里云瑶池数据库的全面产品支撑,为阿里云瑶池实现从数据到智能的云原生数据库提供更高性能的基础设施。image.png
小赢科技运维总监李斌在演讲中分享了PolarDB在金融科技行业的最佳实践。他表示,金融科技行业数据量大,存在亿级大表JOIN复杂分析查询、大存储和弹性伸缩的需求,PolarDB的列存索引IMCI在复杂查询场景性能提升30-100倍,搭配Serverless在业务波峰时段可以按需无感弹升,极大的提升了用户体验,也平衡了使用成本。
金融行业对数据一致性有强要求,PolarDB SCC高性能强一致特性解决了只读库延时导致读不一致的问题,在数据延迟敏感的金融交易业务中性能得到了进一步提升。金融科技行业有海量的历史数据,X-Engine高压缩引擎 + PolarStore PSL4硬件压缩,相比MySQL压缩了11倍,而且支持在线实时查询,极大的降低了历史数据存储和使用成本。
image.png
阿里云数据库产品事业部高级产品专家许鸿斌在《瑶池数据库容灾体系:助力数据业务持续在线》的主题演讲中提到,瑶池数据库提供了多层级容灾体系,可助力企业快速构建数据级-应用级-业务级的容灾能力。应对机房级故障,阿里云瑶池跨多个可用区部署的实例可提供秒级RTO及RPO=0的保障;应对机房所在城市发生地域级故障,瑶池提供的跨地域容灾实例,可实现分钟级的RPO及RTO保障。同时基于瑶池全球多活数据库能力,可快速构建单元化、全球化业务。企业可根据具体业务属性,在瑶池数据库多层级容灾架构上进行灵活选择,支撑数据业务持续在线。
image.png

迅雷集团运维经理陈震宇在《迅雷集团RDS异地多活实践》的分享中介绍:“在应用层上,迅雷进行了业务单元化的服务改造,按属性划分了:核心业务单元、共享业务单元、全局单元。在数据层上,针对不同的业务单元,迅雷利用RDS MySQL全球多活容灾的产品能力进行了灵活的形态适配,完成了两地三中心架构的全面改造。不仅实现了分钟级的RTO、高质量的数据保护、业务就近访问,还有效提升了核心系统的连续性和安全性,展示了迅雷在容灾多活建设上的深入探索和创新实践。”

相关文章
|
6天前
|
弹性计算 双11 开发者
阿里云ECS“99套餐”再升级!双11一站式满足全年算力需求
11月1日,阿里云弹性计算ECS双11活动全面开启,在延续火爆的云服务器“99套餐”外,CPU、GPU及容器等算力产品均迎来了全年最低价。同时,阿里云全新推出简捷版控制台ECS Lite及专属宝塔面板,大幅降低企业和开发者使用ECS云服务器门槛。
|
23天前
|
存储 弹性计算 人工智能
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
阿里云弹性计算产品线、存储产品线产品负责人Alex Chen(陈起鲲)及团队内多位专家,和中国电子技术标准化研究院云计算标准负责人陈行、北京望石智慧科技有限公司首席架构师王晓满两位嘉宾,一同带来了题为《通用计算新品发布与行业实践》的专场Session。本次专场内容包括阿里云弹性计算全新发布的产品家族、阿里云第 9 代 ECS 企业级实例、CIPU 2.0技术解读、E-HPC+超算融合、倚天云原生算力解析等内容,并发布了国内首个云超算国家标准。
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
|
5天前
|
人工智能 弹性计算 文字识别
基于阿里云文档智能和RAG快速构建企业"第二大脑"
在数字化转型的背景下,企业面临海量文档管理的挑战。传统的文档管理方式效率低下,难以满足业务需求。阿里云推出的文档智能(Document Mind)与检索增强生成(RAG)技术,通过自动化解析和智能检索,极大地提升了文档管理的效率和信息利用的价值。本文介绍了如何利用阿里云的解决方案,快速构建企业专属的“第二大脑”,助力企业在竞争中占据优势。
|
4天前
|
人工智能 自然语言处理 安全
创新不设限,灵码赋新能:通义灵码新功能深度评测
自从2023年通义灵码发布以来,这款基于阿里云通义大模型的AI编码助手迅速成为开发者心中的“明星产品”。它不仅为个人开发者提供强大支持,还帮助企业团队提升研发效率,推动软件开发行业的创新发展。本文将深入探讨通义灵码最新版本的三大新功能:@workspace、@terminal 和 #team docs,分享这些功能如何在实际工作中提高效率的具体案例。
|
7天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
3911 1
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
10天前
|
负载均衡 算法 网络安全
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
阿里云平台WoSign品牌SSL证书是由阿里云合作伙伴沃通CA提供,上线阿里云平台以来,成为阿里云平台热销的国产品牌证书产品,用户在阿里云平台https://www.aliyun.com/product/cas 可直接下单购买WoSign SSL证书,快捷部署到阿里云产品中。
2176 6
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
|
3天前
|
安全 数据建模 网络安全
2024阿里云双11,WoSign SSL证书优惠券使用攻略
2024阿里云“11.11金秋云创季”活动主会场,阿里云用户通过完成个人或企业实名认证,可以领取不同额度的满减优惠券,叠加折扣优惠。用户购买WoSign SSL证书,如何叠加才能更加优惠呢?
829 1
|
22天前
|
编解码 Java 程序员
写代码还有专业的编程显示器?
写代码已经十个年头了, 一直都是习惯直接用一台Mac电脑写代码 偶尔接一个显示器, 但是可能因为公司配的显示器不怎么样, 还要接转接头 搞得桌面杂乱无章,分辨率也低,感觉屏幕还是Mac自带的看着舒服
|
1天前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
388 7
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
|
28天前
|
存储 人工智能 缓存
AI助理直击要害,从繁复中提炼精华——使用CDN加速访问OSS存储的图片
本案例介绍如何利用AI助理快速实现OSS存储的图片接入CDN,以加速图片访问。通过AI助理提炼关键操作步骤,避免在复杂文档中寻找解决方案。主要步骤包括开通CDN、添加加速域名、配置CNAME等。实测显示,接入CDN后图片加载时间显著缩短,验证了加速效果。此方法大幅提高了操作效率,降低了学习成本。
5407 15