云存储生态构建的技术基因和最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,内容安全 1000次 1年
简介: Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

当云计算、大数据、物联网、人工智能等新技术纷至沓来,我们都在时代的洪流中亲历这样的变化——数字科技深入渗透工作生活,从消费娱乐到生活服务,再到产业革新。

头图.jpg

一、智能化时代,企业 IT 趋势的四大转变


不难发现,以上云为主要特征的数字时代,最典型的特征是数据的高速增长。据相关机构预计,到 2026 年,全球数据量将高达 216ZB,其中 90% 为非结构化数据。为了应对云时代数据洪流,自如地将数据“存-管-用”,企业 IT 建设趋势也在发生变化。


  • 第一,IT 建设的规划需要“仰望星空,脚踏实地”。不光要考虑高性价比的投入和支持现有业务信息化,更要考虑如何敏捷、快速地响应创新业务的验证和迭代,以应对快速变化的市场。


  • 第二,数据化会带来组织效率的提升和更细粒度的分工,从而导致应用的数量增长。另外,越来越多的企业应用的云原生化和微服务化也带来应用数量的增长。因此在企业IT架构建设之初,应用数据的持久化存储和应用的可观测性就应计划实现。


  • 第三,业务应用数据的互联互通已经不再是方向,而是在企业 IT 整体架构设计中之初就必须考虑的事情。统一设计的数据底座让这一切唾手可得。


  • 第四,智能物联网高速发展催生了新的行业场景,近客户端快速响应、简单数据处理+云端海量存储,准实时或离线计算分析的场景越来越多,需要有云/边/端的统一数据底座部署能力。


二、从“量”到“质”的技术能力转变


大数据容量的“量变”需要数据处理技术的“质变”,对于企业而言,云提供了灵活的弹性伸缩、弹性存储容量、安全可靠、高可用性和稳定的性能等能力。大数据时代下,云存储得到了飞速发展,其成熟过程始终贯穿着“应用的需求”与“技术发展的推动”这两条主线。


针对不断演进的需求变化,阿里云已在存储领域完成全面布局,包括块存储、文件存储、表格存储和对象存储在内的云上存储家族,混合云 CPFS 存储、混合云阵列、云存储网关、云定义存储的混合云存储服务,以及高性能分布式存储和数据库存储等典型场景存储方案。


作为阿里云飞天系统中极其重要的一环,阿里云存储拥有统一设计的数据底座,不仅提供了丰富完整的公共云和混合云存储产品矩阵,还通过客户数据中心和边缘局点到云上的整体存储解决方案,打破了数据存储和流通的边界,帮助企业挖掘数字化经济时代的新石油,推动 IT 敏捷化和易用化的浪潮。


三、存储生态构建的最佳实践


基础设施为云爆发创造了先决条件,在稳定、完善、成熟的基础设施之上,海量应用方才井喷式迸发。Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。阿里云认为,将数字技术落实到企业和组织中,形成真正能够解决业务问题、创新业务场景和商业模式的解决方案,是一个非常细致而又繁琐的工作,必须依靠广大的合作伙伴才能够完成。


阿里云的 IaaS 一直保持着技术领先,而存储作为 IaaS 的核心组成部分、IT 设施中最重要的一环,希望以被集成的方式让伙伴利用好这些原子能力,为客户构建丰富的数据存储解决方案。目前,已有不少伙伴利用阿里云存储成功构建了数据平台。


■ 飞轮数据基于阿里云 OSS 构建云原生数仓

飞轮数据基于阿里云 OSS 构建云原生数仓.png

云原生是数仓基础架构的一个基本的演进方向。近几年云原生数仓创业赛道很火,也被资本市场看好和重点布局。云原生实时数仓厂商 SelectDB(北京飞轮数据科技有限公司)选择了用对象存储 OSS 构建其核心产品 SelectDB 的存储底座,完美解决各类数据汇聚,流动,提取,管理复杂,分析效率低下的数仓构建中的典型问题,帮助 SelectDB 的客户实现跨部门的数据共享,快速满足企业数据分析和管理的各类需求。


在联邦查询、即席检索等传统数仓容易出现性能瓶颈的场景,一条命令,即可实现极致的数据分析能力,提升用户使用体验。对象存储 OSS 同 Hadoop 生态的完美适配,帮助“货拉拉”、“同程数科”、“蜀海供应链”等知名 SelectDB 用户无缝对接 Hadoop 生态,还能同阿里云上函数计算,EMR 等大数据分析产品原生配合使用,让商业决策更加方便和及时。近期,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench 中,云原生数仓 SelectDB 强势登顶。


值得一提的是,对象存储 OSS 提供单命名空间 50 亿文件的支持和 10 万 QPS 的元数据操作能力,再配合使用阿里云文件存储 CPFS 专门针对小文件提供的百 TB 容量 280 万 IOPS 的能力,可降低 95% 的计算等待时间,大幅提升训练效率。全面服务化的形态,极致的性价比优化,无论是用户准备升级目前的数仓平台还是准备构建自己的数仓平台,都是不二首选。


云存储精选特惠专享,对象存储OSS新用户33元/6月起

https://www.aliyun.com/activity/store/Storage-promotion


观测云基于阿里云 SLS 构建可观测 SaaS 平台

观测云基于阿里云 SLS 构建可观测 SaaS 平台.png

云原生环境下,企业基础设施的部署方式和资源使用方式发生了很多变化。如应用的容器化部署方式、业务中间件微服务化架构、资源使用的 Serverless 趋势、敏捷协同的开发模式。尽管业务模块间解耦和无状态能提升模块复用率和快速响应创新型业务,但它也给问题快速定位、模块报警处理、系统状态监控、故障根因分析带来了巨大挑战。在这种情况下,传统的监控体系难以招架。


可观测性的出现,正是为了解决云原生技术栈中,用户对微服务、容器化部署模式的不可感知、无法全局洞察的问题。一个理想的可观测解决方案,需要做到以下几点:


  • 稳定,高效的采集存储各类数据源;
  • 方便的清洗,分类,分发数据,能正确响应,有效通知;
  • 各类数据能融合分析,方便对接各类分析引擎;
  • 有一定AI智能化检测,快速进行根因诊断;
  • 要高性价比,易于扩展,免运维。


日志服务 SLS 作为云原生观测分析平台,聚焦于海量数据的采集,稳定高可靠的数据存储和基础的数据处理和分析。上海观察未来信息科技公司旗下的实时数据检测平台——观测云,就是在日志服务 SLS 的基础上,运用自己对新零售领域的理解,帮助客户快速搭建,实现对基础设施、中间件、应用层和业务层的可观测服务,满足云时代对监控的需求。


对于企业用户而言,如何读懂数据,洞察庞杂数据变化背后的趋势,识别未来的商业机会和预判未来风险尤为重要。观测云和阿里云日志服务的结合,为用户提供了强大的智能运维和业务洞察能力。用户可以利用阿里云日志服务 SLS 实现数据的采集和存储,并利用阿里云的授权机制,让观测云解读和分析日志。继而利用观测云对行业的理解和良好交互体验的产品,实现对业务关联分析、告警的智能过滤、事件有效分发通知,助力自身业务快速健康增长。


俗话说,独行快,众行远。日志服务 SLS 愿意在底层平台和能力的基础上,携手更多对行业有深度理解的伙伴一起共同服务好这个市场。


结语


企业深层次的数字化转型依然是推动云计算市场稳健发展的主要驱动力。未来的市场竞争不会是单一企业之间的“角斗场”,而是不同生态体系之间的竞争。阿里云存储基于客户数字化转型以及伙伴多元的合作需求,秉承“伙伴优先”的生态打法,打造了开放的 API 能力,以期构建一个健康且繁荣的生态体系,共创数智新未来。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6月前
|
人工智能 Prometheus 监控
面向智算服务,构建可观测体系最佳实践
面向智算服务,构建可观测体系最佳实践
138205 198
|
人工智能 Cloud Native 大数据
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
445 0
|
机器学习/深度学习 人工智能 Kubernetes
带你读《云原生机密计算最佳实践白皮书》——PPML: 端到端隐私保护机器学习解决方案(上)
带你读《云原生机密计算最佳实践白皮书》——PPML: 端到端隐私保护机器学习解决方案(上)
715 0
|
运维 Cloud Native 中间件
《生来创新-金融级云原生》——03 金融级云原生实现路径——3.1 金融级云原生能力评估
《生来创新-金融级云原生》——03 金融级云原生实现路径——3.1 金融级云原生能力评估
137 0
|
SQL 消息中间件 分布式计算
基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设
MaxCompute 是阿里巴巴自研的云原生数据仓库,同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题,MaxCompute 需持续增强生态与开放性建设,方能走得更远。
1195 2
基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设
|
存储 分布式计算 供应链
隐语:打造安全易用、社区共建的数据密态时代技术基础设施
7月4日,蚂蚁集团宣布面向全球开发者开源可信隐私计算框架“隐语”。这是蚂蚁集团经过6年多的研究打磨,推出的集成当前主流隐私计算技术的通用框架,具备安全可验证,对开发者和使用者友好易用的设计。“隐语”开源背后蚂蚁有什么思考?蚂蚁隐私计算对未来的预期是什么?蚂蚁集团副总裁兼首席技术安全官、隐语开源社区技术指导委员会主席韦韬博士在“隐语”开源发布会上做了分享。
893 0
隐语:打造安全易用、社区共建的数据密态时代技术基础设施
|
消息中间件 弹性计算 Kubernetes
开放下载 | 支撑全球最大规模云原生实践的云产品,究竟有哪些独特之处?
本电子书聚焦云原生12款核心产品,覆盖容器产品、微服务产品、消息中间件产品、Serverless产品等。
5592 7
开放下载 | 支撑全球最大规模云原生实践的云产品,究竟有哪些独特之处?
|
存储 运维 安全
带你读《企业数字化基石-阿里巴巴云计算基础设施实践》第一章基础设施架构综述1.4基础设施的核心竞争力特征
《企业数字化基石-阿里巴巴云计算基础设施实践》第一章基础设施架构综述1.4
254 0
|
存储 数据采集 人工智能
灵活架构与超高性价比,数据湖解决方案助力AI技术实现落地应用
阿里云针对AI行业的痛点,推出了AI行业的数据湖解决方案,该解决方案的核心是通过数据湖一体化的能力,轻松对接各种计算与处理引擎,直接在数据湖中对数据进行分析。
9723 0
灵活架构与超高性价比,数据湖解决方案助力AI技术实现落地应用
|
分布式计算 运维 数据可视化
深度解析大快DKadoop大数据运维管理平台功能
DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的管理应用,DKM 对 DKH 的每个部件都提供了细粒度的可视化和控制。通过DKM ,运维人员是可以提高集群的性能,提升服务质量,提高合规性并降低管理成本。
2136 0
下一篇
无影云桌面