阿里云吴结生:面向大规模数据智能的阿里云存储创新

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 近年来,越来越多人意识到,我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB,与 2022 年相比,增长了近 2 倍。其中 75% 的数据来自企业,每一个现代化的企业都是一家数据公司。

近年来,越来越多人意识到,我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB,与 2022 年相比,增长了近 2 倍。其中 75% 的数据来自企业,每一个现代化的企业都是一家数据公司。

阿里云副总裁、阿里云云存储产品线负责人吴结生在云栖大会的演讲中提到:“从云的角度来看,云的存力、算力,云上提供的数据管理的能力,大数据分析能力和人工智能计算能力,帮助每家企业从数据公司演进到数据驱动的公司。因此云计算是企业实现数智化的阶梯。”

在企业实现数字化和智能化转型的过程中,需要重构企业的存储基础设施。在这个过程中,有三个非常显著的要求:
第一,要有韧性,要稳定安全、更可靠、更高可用,能够保障业务的连续性;
第二,需要持续地应对业务的增长,能更经济、高效地存储更多数据;
第三,需要更高效率和更敏捷的能力,高效地挖掘数据的价值,敏捷地实现数据驱动的业务决策和业务创新。

image.png

阿里云存储,第一,不断提高存储产品的高可靠、高可用的能力,并完善安全和合规的能力,帮助客户构建韧性的存储基础设施。第二,持续地进行成本优化和技术升级,帮助客户优化存储费用,经济地存储更多数据,支撑业务的增长和业务的变化。第三,支持高性价比的数据湖和大数据分析、AI/ML 智算和高性能计算,帮助客户敏捷高效地进行数据驱动的业务决策和创新。吴结生表示,云存储是构建企业现代化的存储基础设施的基石,这既是技术发展的趋势,也是企业在进行数字化和智能化转型过程中必然的选择。

构建韧性,保障业务永续
稳定可靠的存储,是保障企业业务平稳发展的基石。从 2008 年底开始,阿里云就致力打造高可靠和高可用的存储系统和云存储产品。在国内,早在 2019 年,阿里云是首家推出同城冗余存储产品的云服务商,发布了对象存储 OSS 的同城冗余的产品。采用容忍故障的设计理念,为用户提供最高达 12 个 9 的数据可靠性和 99.995% 的服务可用性。

基于 OSS 同城冗余产品过去 4 年来保障客户大规模数据可靠性和可用性得出的实践经验,在本次云栖大会上,阿里云发布了更多支持同城冗余能力的存储产品,让同城冗余产品的高可靠和高可用更加普惠地帮助客户构建韧性的基础设施,保障业务的连续性。

表格存储、日志服务、快照和备份都推出了同城冗余产品,产品价格与本地冗余(也即 单 AZ 冗余)的产品价格保持一致。针对 OSS 的本地冗余的存储 Bucket,阿里云提供了一键升级到同城冗余存储 Bucket 的能力。

同时,阿里云还发布了业界第一个真正意义上拥有同城冗余的高性能块存储 Regional ESSD。它基于飞天盘古同城冗余架构,支持多重挂载,容忍可用区级别故障。Regional ESSD 简化高可用的数据库应用和 Mission Critical 应用的构建。

image.png

除了同城冗余的存储产品外,阿里云存储产品还提供了近实时的跨地域异步复制能力,帮助客户实现异地多活架构 ,充分保障业务连续性。对象存储 OSS、块存储 EBS、文件存储 NAS、表格存储 Tablestore、快照都提供了跨区域的异步复制能力。

大会现场,小米云服务研发总监、手机部服务端 TMG 主任孔令涛坦言:小米云服务自 2012 年创立以来已累计存储超过 1,000PB 的数据量,在整个过程中小米云服务从未出现任何一例数据问题,也未曾影响用户的正常使用,这一成果,源自阿里云存储提供的稳定可靠的云存储服务。

image.png

优化成本,应对业务增长和变化
数据的爆炸式增长,企业产生大量的数据,更加经济地存储更多的数据,是企业面临的挑战。阿里云不断创新和演进存储技术,优化产品成本,释放技术红利,提升产品的弹性能力,帮助企业更好的应对业务增长和变化。

企业的数据有不同的访问频率和使用方式需求,有热数据、温数据和冷数据等分层。对象存储 OSS 提供给用户五种存储类型,用户可根据数据访问类型与业务需求,配置自动的数据分层策略。该能力已为阿里云的存储客户每个月节约接近 2 亿元的存储费用。今年 6 月发布了归档直读的能力,可实时访问归档数据。企业可在不牺牲数据的实时处理和分析能力下,获得更低价格的存储。

image.png

此外,阿里云也发布了块存储 EBS 新的入门规格:ESSD Entry,比 ESSD PL0 规格的价格降低30%。据吴结生在大会现场透露,针对有性能持续突发增长需求的客户,今年年底,阿里云 ESSD AutoPL 还将提供 Burst 费用封顶能力,性能可以持续弹性增加到 100 万 IOPS, 当 IOPS 到达一定阈值后,费用封顶。采用新的费用封顶模式,成本将降低高达 85% ,让用户拥有弹性的高性能体验的同时,成本可控。并且,阿里云存储还将发布另一业内首创的块存储弹性临时盘,可解耦计算实例与本地盘,为用户提供经济高效的临时数据存储空间。

除以上两款产品外,阿里云还宣布文件存储 NAS 提供高级型规格,比性能型价格降低 54%,实现业务系统低成本向全闪存储升级。文件存储 NAS 提供更高性价比的归档规格,进一步降低冷数据长期存储成本。文件存储 CPFS 将提供分层存储,并打通与对象存储 OSS 之间的流动。日志服务 SLS 简化了计价模型,从原来的 19 项计费项减少到基于写入数据量的计费。SLS 推出归档存储并推出自动分层的能力,归档存储的价格比热存储降低 86%。

增强敏捷性,提升业务创新效率
数据因 AI 而变得越来越重要。如何高效地挖掘数据价值,让数据驱动业务决策,未来的存储基础设施还需要更好的适配 AI 时代用户对数据存储的新需求,帮助用户实现敏捷重构,提升创新效率。

数据湖则是企业挖掘数据价值的重要工具。阿里云对象存储 OSS 作为数据湖存储,具备稳定、安全、高性能、低成本等特性,提供丰富灵活开放的接口。一方面,用户可随时随地去上传任何类型的数据到 OSS 来构建数据湖。另一方面,通过这些接口,用户的数据既可以通过阿里云提供的各种数据分析服务、人工智能和计算学习平台、可视化和流计算等进行数据价值的挖掘。用户也可以使用这些开放的接口无缝对接自研的数据分析系统和开源的系统。

此次云栖大会上,阿里云也宣布将对象存储 OSS 的读带宽提升了 10 倍,从原来的单客户 10Gbps 提升到 100Gbps,帮助用户构建了更高效的数据湖存储和数据湖的分析能力,同时也提升了文件的分发能力。

image.png

值得一提的是,喜马拉雅在云栖大会现场分享了采用 OSS 数据湖架构的最佳实践。通过利用数据湖、湖仓一体技术,可以在短时间内快速抓住用户的兴趣点,通过用户浏览、搜索等行为,进行更智能化的推荐。

据喜马拉雅 CTO 姜杰在云栖大会现场介绍:“借助阿里云的 E-MapReduce 和 OSS-HDFS,我们构建了喜马拉雅云原生大数据平台,并结合喜马拉雅领先的情感语音 AI,推动业务创新,为用户提供更优质的内容消费和更智能的语音交互体验。”

面向大模型智算场景,阿里云文件存储 CPFS 为 AI 负载进行优化,提供了 200 微秒的延迟,20TB/s 的带宽,3 亿 IOPS 的高并发能力,充分满足了 10 万卡智算集群的存储超高性能的需求。

吴结生表示:“阿里云存储技术的创新来自双轮的驱动。一方面来自我们的客户,向客户学习,客户的需求驱动。另一方面,来自技术驱动,来自我们的技术架构。所有的存储产品都基于统一的分布式存储系统飞天盘古作为底座而构建。飞天盘古是阿里云存储创新的发动机。”

历经 15 载,如今的飞天盘古系统已迭代至第三代,数千万行代码和 1,000 余项专利,从大规模、到高性能、到高效能的分布式存储系统的演进,更高效地让数据中心成为一台计算机。

image.png

就在前不久,阿里云分布式存储技术获中国发明专利金奖。专利所支撑的存储服务已广泛应用于铁路 12306、云上奥运会、电子社保卡、医保平台、数字政府、城市大脑、杭州亚运等重要工程,为全球数百万客户提供服务,累计服务超 9 亿人次。

相关实践学习
基于EBS部署高性能的MySQL服务
如果您通常是通过ECS实例部署MySQL来使用数据库服务,您可以参考本实验操作来搭建高性能的MySQL服务。本实验为您演示如何通过EBS ESSD云盘部署一个高性能的MySQL服务。
相关文章
|
30天前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110089 118
阿里云DMS,身边的智能化数据分析助手
|
1月前
|
存储 调度 块存储
阿里云连续两年斩获全球存储顶会FAST最佳论文
阿里云连续两年斩获全球存储顶会FAST最佳论文
311 0
|
18天前
|
安全 云栖大会 云计算
阿里云创业者计划:数字化时代的创新助推器
阿里云创业者计划助力初创企业数字化转型,提供最高100万上云抵扣金,1对1技术服务,及品牌曝光等综合支持。通过降低上云成本与技术指导,该计划旨在帮助企业在竞争中站稳脚跟,促进创新与行业发展。尽管面临审核流程及技术利用的挑战,该计划仍为创业创新提供了关键推动力。
177 4
阿里云创业者计划:数字化时代的创新助推器
|
30天前
|
人工智能 IDE API
灵动指尖 :阿里云智能编码插件 更好的为IDE内置社区服务
灵动指尖 :阿里云智能编码插件 更好的为IDE内置社区服务
|
1月前
|
存储 人工智能 自然语言处理
“智能+”时代,深维智信如何借助阿里云打造AI内容生成系统
随着数字经济的发展,线上数字化远程销售模式越来越成为一种主流,销售流程也演变为线上视频会议、线下拜访等多种方式的结合。根据Gartner报告,到2025 年60%的B2B 销售组织将从基于经验和直觉的销售转变为数据驱动的销售,将销售流程、销售数据、销售分析合并形成一致的运营实践。
394 0
“智能+”时代,深维智信如何借助阿里云打造AI内容生成系统
|
1月前
|
存储 调度 块存储
十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!
上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。
104594 104
|
1月前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175290 348
|
1月前
|
消息中间件 Cloud Native Kafka
活动报名|AutoMQ x 阿里云云原生创新论坛(2024.03.09)见证“新一代云原生 Kafka ”重磅发布!
新一年, AutoMQ 首场线下活动重磅来袭!2024年3月9日,由 AutoMQ 与阿里云联合举办的云原生创新论坛将于杭州与大家见面,双方联合重磅发布新一代云原生 Kafka ——AutoMQ On-Prem 版本 !现场将会分享如何通过云原生和存算分离架构实现 Kafka 产品的10倍成本优化,并保持秒级分区无损迁移。另外,活动现场还有来自得物的技术专家分享 AutoMQ 在生产场景中的应用实践,以及阿里云的资深专家为大家剖析多 AZ 块存储的原理。
119 0
活动报名|AutoMQ x 阿里云云原生创新论坛(2024.03.09)见证“新一代云原生 Kafka ”重磅发布!
|
1月前
|
存储 数据采集 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
随着业务在金融、保险和商城领域的不断扩展,众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合,这不仅导致数据分析形成数据孤岛,还带来高昂的管理及维护成本。为解决该问题,众安保险引入 Apache Doris,替换了早期复杂的技术组合,不仅降低了系统的复杂性,打破了数据孤岛,更提升了数据处理的效率。
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍