云存储生态构建的技术基因和最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

当云计算、大数据、物联网、人工智能等新技术纷至沓来,我们都在时代的洪流中亲历这样的变化——数字科技深入渗透工作生活,从消费娱乐到生活服务,再到产业革新。

头图.jpg

一、智能化时代,企业 IT 趋势的四大转变


不难发现,以上云为主要特征的数字时代,最典型的特征是数据的高速增长。据相关机构预计,到 2026 年,全球数据量将高达 216ZB,其中 90% 为非结构化数据。为了应对云时代数据洪流,自如地将数据“存-管-用”,企业 IT 建设趋势也在发生变化。


  • 第一,IT 建设的规划需要“仰望星空,脚踏实地”。不光要考虑高性价比的投入和支持现有业务信息化,更要考虑如何敏捷、快速地响应创新业务的验证和迭代,以应对快速变化的市场。


  • 第二,数据化会带来组织效率的提升和更细粒度的分工,从而导致应用的数量增长。另外,越来越多的企业应用的云原生化和微服务化也带来应用数量的增长。因此在企业IT架构建设之初,应用数据的持久化存储和应用的可观测性就应计划实现。


  • 第三,业务应用数据的互联互通已经不再是方向,而是在企业 IT 整体架构设计中之初就必须考虑的事情。统一设计的数据底座让这一切唾手可得。


  • 第四,智能物联网高速发展催生了新的行业场景,近客户端快速响应、简单数据处理+云端海量存储,准实时或离线计算分析的场景越来越多,需要有云/边/端的统一数据底座部署能力。


二、从“量”到“质”的技术能力转变


大数据容量的“量变”需要数据处理技术的“质变”,对于企业而言,云提供了灵活的弹性伸缩、弹性存储容量、安全可靠、高可用性和稳定的性能等能力。大数据时代下,云存储得到了飞速发展,其成熟过程始终贯穿着“应用的需求”与“技术发展的推动”这两条主线。


针对不断演进的需求变化,阿里云已在存储领域完成全面布局,包括块存储、文件存储、表格存储和对象存储在内的云上存储家族,混合云 CPFS 存储、混合云阵列、云存储网关、云定义存储的混合云存储服务,以及高性能分布式存储和数据库存储等典型场景存储方案。


作为阿里云飞天系统中极其重要的一环,阿里云存储拥有统一设计的数据底座,不仅提供了丰富完整的公共云和混合云存储产品矩阵,还通过客户数据中心和边缘局点到云上的整体存储解决方案,打破了数据存储和流通的边界,帮助企业挖掘数字化经济时代的新石油,推动 IT 敏捷化和易用化的浪潮。


三、存储生态构建的最佳实践


基础设施为云爆发创造了先决条件,在稳定、完善、成熟的基础设施之上,海量应用方才井喷式迸发。Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。阿里云认为,将数字技术落实到企业和组织中,形成真正能够解决业务问题、创新业务场景和商业模式的解决方案,是一个非常细致而又繁琐的工作,必须依靠广大的合作伙伴才能够完成。


阿里云的 IaaS 一直保持着技术领先,而存储作为 IaaS 的核心组成部分、IT 设施中最重要的一环,希望以被集成的方式让伙伴利用好这些原子能力,为客户构建丰富的数据存储解决方案。目前,已有不少伙伴利用阿里云存储成功构建了数据平台。


■ 飞轮数据基于阿里云 OSS 构建云原生数仓

飞轮数据基于阿里云 OSS 构建云原生数仓.png

云原生是数仓基础架构的一个基本的演进方向。近几年云原生数仓创业赛道很火,也被资本市场看好和重点布局。云原生实时数仓厂商 SelectDB(北京飞轮数据科技有限公司)选择了用对象存储 OSS 构建其核心产品 SelectDB 的存储底座,完美解决各类数据汇聚,流动,提取,管理复杂,分析效率低下的数仓构建中的典型问题,帮助 SelectDB 的客户实现跨部门的数据共享,快速满足企业数据分析和管理的各类需求。


在联邦查询、即席检索等传统数仓容易出现性能瓶颈的场景,一条命令,即可实现极致的数据分析能力,提升用户使用体验。对象存储 OSS 同 Hadoop 生态的完美适配,帮助“货拉拉”、“同程数科”、“蜀海供应链”等知名 SelectDB 用户无缝对接 Hadoop 生态,还能同阿里云上函数计算,EMR 等大数据分析产品原生配合使用,让商业决策更加方便和及时。近期,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench 中,云原生数仓 SelectDB 强势登顶。


值得一提的是,对象存储 OSS 提供单命名空间 50 亿文件的支持和 10 万 QPS 的元数据操作能力,再配合使用阿里云文件存储 CPFS 专门针对小文件提供的百 TB 容量 280 万 IOPS 的能力,可降低 95% 的计算等待时间,大幅提升训练效率。全面服务化的形态,极致的性价比优化,无论是用户准备升级目前的数仓平台还是准备构建自己的数仓平台,都是不二首选。


云存储精选特惠专享,对象存储OSS新用户33元/6月起

https://www.aliyun.com/activity/store/Storage-promotion


观测云基于阿里云 SLS 构建可观测 SaaS 平台

观测云基于阿里云 SLS 构建可观测 SaaS 平台.png

云原生环境下,企业基础设施的部署方式和资源使用方式发生了很多变化。如应用的容器化部署方式、业务中间件微服务化架构、资源使用的 Serverless 趋势、敏捷协同的开发模式。尽管业务模块间解耦和无状态能提升模块复用率和快速响应创新型业务,但它也给问题快速定位、模块报警处理、系统状态监控、故障根因分析带来了巨大挑战。在这种情况下,传统的监控体系难以招架。


可观测性的出现,正是为了解决云原生技术栈中,用户对微服务、容器化部署模式的不可感知、无法全局洞察的问题。一个理想的可观测解决方案,需要做到以下几点:


  • 稳定,高效的采集存储各类数据源;
  • 方便的清洗,分类,分发数据,能正确响应,有效通知;
  • 各类数据能融合分析,方便对接各类分析引擎;
  • 有一定AI智能化检测,快速进行根因诊断;
  • 要高性价比,易于扩展,免运维。


日志服务 SLS 作为云原生观测分析平台,聚焦于海量数据的采集,稳定高可靠的数据存储和基础的数据处理和分析。上海观察未来信息科技公司旗下的实时数据检测平台——观测云,就是在日志服务 SLS 的基础上,运用自己对新零售领域的理解,帮助客户快速搭建,实现对基础设施、中间件、应用层和业务层的可观测服务,满足云时代对监控的需求。


对于企业用户而言,如何读懂数据,洞察庞杂数据变化背后的趋势,识别未来的商业机会和预判未来风险尤为重要。观测云和阿里云日志服务的结合,为用户提供了强大的智能运维和业务洞察能力。用户可以利用阿里云日志服务 SLS 实现数据的采集和存储,并利用阿里云的授权机制,让观测云解读和分析日志。继而利用观测云对行业的理解和良好交互体验的产品,实现对业务关联分析、告警的智能过滤、事件有效分发通知,助力自身业务快速健康增长。


俗话说,独行快,众行远。日志服务 SLS 愿意在底层平台和能力的基础上,携手更多对行业有深度理解的伙伴一起共同服务好这个市场。


结语


企业深层次的数字化转型依然是推动云计算市场稳健发展的主要驱动力。未来的市场竞争不会是单一企业之间的“角斗场”,而是不同生态体系之间的竞争。阿里云存储基于客户数字化转型以及伙伴多元的合作需求,秉承“伙伴优先”的生态打法,打造了开放的 API 能力,以期构建一个健康且繁荣的生态体系,共创数智新未来。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6月前
|
机器学习/深度学习 运维 Cloud Native
构建未来:云原生架构在企业数字化转型中的关键作用构建高效机器学习模型的五大策略
【5月更文挑战第31天】 随着企业数字化进程的加速,传统的IT架构日益显示出其局限性。本文将探讨云原生架构如何成为推动企业敏捷性、可扩展性和创新能力的核心力量。通过深入分析云原生技术的基本原理及其在业务连续性、资源优化和跨云协作方面的应用,揭示了其在实现高效、灵活的企业IT环境中所扮演的角色。
|
3月前
|
存储 运维 5G
行业云问题之行业云范式构建如何解决
行业云问题之行业云范式构建如何解决
55 16
|
4月前
|
存储 分布式计算 Hadoop
阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合:构建高效、可扩展的数据处理平台
技术持续创新:随着新技术的不断涌现和应用场景的复杂化,阿里巴巴将继续投入研发力量推动技术创新和升级换代。 生态系统更加完善:Hadoop生态系统将继续扩展和完善,为用户提供更多元化、更灵活的数据处理工具和服务。
|
5月前
|
存储 弹性计算 安全
构建高效企业应用架构:阿里云产品组合实践深度解析
该方案展现了阿里云产品组合的强大能力和灵活性,不仅满足了当前业务需求,也为未来的扩展打下了坚实的基础。希望本文的分享能为读者在设计自己的IT解决方案时提供一定的参考和启发。
354 1
|
6月前
|
机器学习/深度学习 Cloud Native Devops
构建未来:云原生技术在企业数字化转型中的关键作用构建高效机器学习模型的五大策略
【5月更文挑战第29天】 随着企业加速数字化进程,云原生技术以其灵活性、可扩展性和敏捷性成为推动创新的重要力量。本文深入探讨了云原生架构的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,以及它们如何共同促进企业快速响应市场变化,实现技术优势。文章还将分析采用云原生技术的潜在挑战,并提出相应的解决策略,以帮助企业在竞争激烈的环境中保持领先地位。
|
6月前
|
存储 人工智能 容灾
华为分布式存储专为海量非结构化数据而生,助力构建坚实数据底座
全球每年产生的数据总量将于2030年达到1YB,其中95%以上数据为非结构化数据,企业亟需打造混合负载更高效、数据管理更简单、数据韧性更强悍的数据底座来应对未来的数据挑战。面对海量非结构化数据,构筑架构与技术均遥遥领先的华为OceanStor分布式存储系列将帮助企业释放数据价值,顺利拥抱YB数据时代。
|
存储 云计算
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储自制脑图
187 1
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储
|
存储 云计算
阿里云产品体系分为6大分类——云计算基础——存储服务
阿里云产品体系分为6大分类——云计算基础——存储服务自制脑图
81 1
阿里云产品体系分为6大分类——云计算基础——存储服务
|
SQL 消息中间件 分布式计算
基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设
MaxCompute 是阿里巴巴自研的云原生数据仓库,同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题,MaxCompute 需持续增强生态与开放性建设,方能走得更远。
1195 2
基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设
|
存储 分布式计算 供应链
隐语:打造安全易用、社区共建的数据密态时代技术基础设施
7月4日,蚂蚁集团宣布面向全球开发者开源可信隐私计算框架“隐语”。这是蚂蚁集团经过6年多的研究打磨,推出的集成当前主流隐私计算技术的通用框架,具备安全可验证,对开发者和使用者友好易用的设计。“隐语”开源背后蚂蚁有什么思考?蚂蚁隐私计算对未来的预期是什么?蚂蚁集团副总裁兼首席技术安全官、隐语开源社区技术指导委员会主席韦韬博士在“隐语”开源发布会上做了分享。
897 0
隐语:打造安全易用、社区共建的数据密态时代技术基础设施