阿里云吴结生:面向大规模数据智能的阿里云存储创新

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 近年来,越来越多人意识到,我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB,与 2022 年相比,增长了近 2 倍。其中 75% 的数据来自企业,每一个现代化的企业都是一家数据公司。

近年来,越来越多人意识到,我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB,与 2022 年相比,增长了近 2 倍。其中 75% 的数据来自企业,每一个现代化的企业都是一家数据公司。

阿里云副总裁、阿里云云存储产品线负责人吴结生在云栖大会的演讲中提到:“从云的角度来看,云的存力、算力,云上提供的数据管理的能力,大数据分析能力和人工智能计算能力,帮助每家企业从数据公司演进到数据驱动的公司。因此云计算是企业实现数智化的阶梯。”

在企业实现数字化和智能化转型的过程中,需要重构企业的存储基础设施。在这个过程中,有三个非常显著的要求:
第一,要有韧性,要稳定安全、更可靠、更高可用,能够保障业务的连续性;
第二,需要持续地应对业务的增长,能更经济、高效地存储更多数据;
第三,需要更高效率和更敏捷的能力,高效地挖掘数据的价值,敏捷地实现数据驱动的业务决策和业务创新。

image.png

阿里云存储,第一,不断提高存储产品的高可靠、高可用的能力,并完善安全和合规的能力,帮助客户构建韧性的存储基础设施。第二,持续地进行成本优化和技术升级,帮助客户优化存储费用,经济地存储更多数据,支撑业务的增长和业务的变化。第三,支持高性价比的数据湖和大数据分析、AI/ML 智算和高性能计算,帮助客户敏捷高效地进行数据驱动的业务决策和创新。吴结生表示,云存储是构建企业现代化的存储基础设施的基石,这既是技术发展的趋势,也是企业在进行数字化和智能化转型过程中必然的选择。

构建韧性,保障业务永续
稳定可靠的存储,是保障企业业务平稳发展的基石。从 2008 年底开始,阿里云就致力打造高可靠和高可用的存储系统和云存储产品。在国内,早在 2019 年,阿里云是首家推出同城冗余存储产品的云服务商,发布了对象存储 OSS 的同城冗余的产品。采用容忍故障的设计理念,为用户提供最高达 12 个 9 的数据可靠性和 99.995% 的服务可用性。

基于 OSS 同城冗余产品过去 4 年来保障客户大规模数据可靠性和可用性得出的实践经验,在本次云栖大会上,阿里云发布了更多支持同城冗余能力的存储产品,让同城冗余产品的高可靠和高可用更加普惠地帮助客户构建韧性的基础设施,保障业务的连续性。

表格存储、日志服务、快照和备份都推出了同城冗余产品,产品价格与本地冗余(也即 单 AZ 冗余)的产品价格保持一致。针对 OSS 的本地冗余的存储 Bucket,阿里云提供了一键升级到同城冗余存储 Bucket 的能力。

同时,阿里云还发布了业界第一个真正意义上拥有同城冗余的高性能块存储 Regional ESSD。它基于飞天盘古同城冗余架构,支持多重挂载,容忍可用区级别故障。Regional ESSD 简化高可用的数据库应用和 Mission Critical 应用的构建。

image.png

除了同城冗余的存储产品外,阿里云存储产品还提供了近实时的跨地域异步复制能力,帮助客户实现异地多活架构 ,充分保障业务连续性。对象存储 OSS、块存储 EBS、文件存储 NAS、表格存储 Tablestore、快照都提供了跨区域的异步复制能力。

大会现场,小米云服务研发总监、手机部服务端 TMG 主任孔令涛坦言:小米云服务自 2012 年创立以来已累计存储超过 1,000PB 的数据量,在整个过程中小米云服务从未出现任何一例数据问题,也未曾影响用户的正常使用,这一成果,源自阿里云存储提供的稳定可靠的云存储服务。

image.png

优化成本,应对业务增长和变化
数据的爆炸式增长,企业产生大量的数据,更加经济地存储更多的数据,是企业面临的挑战。阿里云不断创新和演进存储技术,优化产品成本,释放技术红利,提升产品的弹性能力,帮助企业更好的应对业务增长和变化。

企业的数据有不同的访问频率和使用方式需求,有热数据、温数据和冷数据等分层。对象存储 OSS 提供给用户五种存储类型,用户可根据数据访问类型与业务需求,配置自动的数据分层策略。该能力已为阿里云的存储客户每个月节约接近 2 亿元的存储费用。今年 6 月发布了归档直读的能力,可实时访问归档数据。企业可在不牺牲数据的实时处理和分析能力下,获得更低价格的存储。

image.png

此外,阿里云也发布了块存储 EBS 新的入门规格:ESSD Entry,比 ESSD PL0 规格的价格降低30%。据吴结生在大会现场透露,针对有性能持续突发增长需求的客户,今年年底,阿里云 ESSD AutoPL 还将提供 Burst 费用封顶能力,性能可以持续弹性增加到 100 万 IOPS, 当 IOPS 到达一定阈值后,费用封顶。采用新的费用封顶模式,成本将降低高达 85% ,让用户拥有弹性的高性能体验的同时,成本可控。并且,阿里云存储还将发布另一业内首创的块存储弹性临时盘,可解耦计算实例与本地盘,为用户提供经济高效的临时数据存储空间。

除以上两款产品外,阿里云还宣布文件存储 NAS 提供高级型规格,比性能型价格降低 54%,实现业务系统低成本向全闪存储升级。文件存储 NAS 提供更高性价比的归档规格,进一步降低冷数据长期存储成本。文件存储 CPFS 将提供分层存储,并打通与对象存储 OSS 之间的流动。日志服务 SLS 简化了计价模型,从原来的 19 项计费项减少到基于写入数据量的计费。SLS 推出归档存储并推出自动分层的能力,归档存储的价格比热存储降低 86%。

增强敏捷性,提升业务创新效率
数据因 AI 而变得越来越重要。如何高效地挖掘数据价值,让数据驱动业务决策,未来的存储基础设施还需要更好的适配 AI 时代用户对数据存储的新需求,帮助用户实现敏捷重构,提升创新效率。

数据湖则是企业挖掘数据价值的重要工具。阿里云对象存储 OSS 作为数据湖存储,具备稳定、安全、高性能、低成本等特性,提供丰富灵活开放的接口。一方面,用户可随时随地去上传任何类型的数据到 OSS 来构建数据湖。另一方面,通过这些接口,用户的数据既可以通过阿里云提供的各种数据分析服务、人工智能和计算学习平台、可视化和流计算等进行数据价值的挖掘。用户也可以使用这些开放的接口无缝对接自研的数据分析系统和开源的系统。

此次云栖大会上,阿里云也宣布将对象存储 OSS 的读带宽提升了 10 倍,从原来的单客户 10Gbps 提升到 100Gbps,帮助用户构建了更高效的数据湖存储和数据湖的分析能力,同时也提升了文件的分发能力。

image.png

值得一提的是,喜马拉雅在云栖大会现场分享了采用 OSS 数据湖架构的最佳实践。通过利用数据湖、湖仓一体技术,可以在短时间内快速抓住用户的兴趣点,通过用户浏览、搜索等行为,进行更智能化的推荐。

据喜马拉雅 CTO 姜杰在云栖大会现场介绍:“借助阿里云的 E-MapReduce 和 OSS-HDFS,我们构建了喜马拉雅云原生大数据平台,并结合喜马拉雅领先的情感语音 AI,推动业务创新,为用户提供更优质的内容消费和更智能的语音交互体验。”

面向大模型智算场景,阿里云文件存储 CPFS 为 AI 负载进行优化,提供了 200 微秒的延迟,20TB/s 的带宽,3 亿 IOPS 的高并发能力,充分满足了 10 万卡智算集群的存储超高性能的需求。

吴结生表示:“阿里云存储技术的创新来自双轮的驱动。一方面来自我们的客户,向客户学习,客户的需求驱动。另一方面,来自技术驱动,来自我们的技术架构。所有的存储产品都基于统一的分布式存储系统飞天盘古作为底座而构建。飞天盘古是阿里云存储创新的发动机。”

历经 15 载,如今的飞天盘古系统已迭代至第三代,数千万行代码和 1,000 余项专利,从大规模、到高性能、到高效能的分布式存储系统的演进,更高效地让数据中心成为一台计算机。

image.png

就在前不久,阿里云分布式存储技术获中国发明专利金奖。专利所支撑的存储服务已广泛应用于铁路 12306、云上奥运会、电子社保卡、医保平台、数字政府、城市大脑、杭州亚运等重要工程,为全球数百万客户提供服务,累计服务超 9 亿人次。

相关实践学习
基于EBS部署高性能的MySQL服务
如果您通常是通过ECS实例部署MySQL来使用数据库服务,您可以参考本实验操作来搭建高性能的MySQL服务。本实验为您演示如何通过EBS ESSD云盘部署一个高性能的MySQL服务。
相关文章
|
8天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
8天前
|
Cloud Native Serverless 开发者
阿里云助力开发者创新:探索云原生技术的新境界
阿里云开发者社区推动云原生技术发展,提供丰富产品(如容器服务、Serverless、微服务架构、服务网格)与学习平台,助力企业数字化转型。开发者在此探索实践,共享资源,参与技术活动,共同创新,共创云原生技术新篇章。一起加入,开启精彩旅程!
346 2
|
3天前
|
存储 人工智能 数据管理
【云故事探索】基于阿里云助力地理产业2.0落地,实现遥感数据智能化管理
中国某遥感数据服务中心借助阿里云ECS、GPU和OSS服务,成功实现了地理信息产业升级。此前,中心面临数据管理混乱、服务响应慢等问题。通过阿里云的解决方案,构建了全生命周期管理的遥感数据平台,强化了自动化、智能化的数据生产能力,提升了数据服务的准确性和及时性。此外,平台还增强了数据共享,扩大了应用范围。未来,中心计划结合AI技术,探索地理信息3.0时代,利用阿里云的人工智能平台进一步提升数据管理和应用能力。
47 1
|
5天前
|
存储 机器学习/深度学习 弹性计算
|
8天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3天前
|
存储 弹性计算 数据库
阿里云oss备份网站数据的详细步骤
该教程指导如何使用阿里云OSS备份网站数据。首先,注册阿里云账号并购买40GB的OSS存储空间。创建Bucket,选择与服务器相同的区域和私有权限。安装阿里云OSS插件,获取AccessKey信息。在宝塔面板中设置计划任务进行网站或数据库备份,选择内网域名以节省流量。备份完成后,通过文件管理器检查OSS中是否有备份文件。下载备份文件需点击文件名,然后打开文件URL。
|
3天前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
3天前
|
存储 弹性计算 监控
【阿里云弹性计算】深入阿里云ECS配置选择:CPU、内存与存储的最优搭配策略
【5月更文挑战第20天】阿里云ECS提供多种实例类型满足不同需求,如通用型、计算型、内存型等。选择CPU时,通用应用可选1-2核,计算密集型应用推荐4核以上。内存选择要考虑应用类型,内存密集型至少4GB起。存储方面,系统盘和数据盘容量依据应用和数据量决定,高性能应用可选SSD或高效云盘。结合业务特点和预算制定配置方案,并通过监控应用性能适时调整,确保资源最优利用。示例代码展示了使用阿里云CLI创建ECS实例的过程。
59 5
|
6天前
|
人工智能 云计算
阿里云携手合作伙伴得云AI举办《AI赋能 · 智能革新沙龙》
阿里云与得云AI联合举办了《AI赋能·智能革新沙龙》,探讨云计算和AI前沿技术。
|
8天前
|
NoSQL MongoDB 数据库
国内唯一 阿里云荣膺MongoDB“2024年度DBaaS认证合作伙伴奖”
阿里云连续第五年斩获MongoDB合作伙伴奖项,也是唯一获此殊荣的中国云厂商。一起学习MongoDB副本集的选举机制以及可能会出现的特殊情况。
国内唯一 阿里云荣膺MongoDB“2024年度DBaaS认证合作伙伴奖”