带你读《云存储应用白皮书》之19:6. 云定义存储CDS

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 带你读《云存储应用白皮书》之19:6. 云定义存储CDS

6. 云定义存储CDS

 

产品介绍:

 

云定义存储(Cloud Defined StorageCDS)通过盘古全新的QoS框架将对象存储OSS、块存储EBS、日志服务 SLS和灾备服务 HBR多个存储产品融合部署在同一套物理服务器上,与公共云上规模化的存储服务做到了代码版本基本一致,弥合了以往混合云版本和公共云版本差距较大的问题。

 

云定义存储是一个全新的软件定义存储,既能够在定制的存储服务器上软硬一体优化输出,也支持x86服务器到各平台的软件输出模式。其中最核心的关键词是“云定义”,具有云原生(Cloud Native)、云规模(Cloud Scale)、云服务(Cloud Service)、云连通(to Cloud)、云部署(on Cloud)以及混合多云(Hybrid Multi Cloud)等优势。

 

块存储技术能力:

 

云定义存储提供了数据块级别的随机存储CDS-EBS,具有低时延、强持久性、高可靠等特点,采用CDS-EBS依托于盘古提供的异步写、后台读等能力,可提供稳定的时延和故障恢复能力。

 

CDS-EBS在云盘调度和QoS等方面经过充分优化,可保持服务器之间和云盘之间流量公平分配,保证用户稳定的体验。CDS-EBS会经过严格的故障切换测试和破坏性测试,可在进程挂掉、机器宕机、物理盘损坏、单机网络故障等场景做到业务流量平稳,同时管控节点宕机可做到持续服务,热升级可做到用户无感知。

 

CDS-EBS提供全链路CRC校验能力,可有效校验出I/O传输过程中的网络、CPU、内存错误,不会将错误数据返回给用户。同时针对内部一些逻辑如纠删码、压缩、TRIM进行额外的算法维度的校验,确保纠删码、压缩和TRIM算法不会导致数据错误。

 

CDS-EBS会针对冷数据进行后台扫描,除了物理介质上存储的数据CRC校验外,还包括数据读上来之后进行文件格式解析、解压后的校验,以及副本间数据一致性的校验,经过优化,绝大部分场景可保证60天内完成一轮整集群粒度的数据扫描。

 

CDS-EBS集群规模相比公共云要小很多,最小支持6台服务器集群,目的是降低起建规模,节省用户成本。CDS-EBS会在单台服务器上混合部署不同服务,如元数据服务节点、数据存储节点等,各服务之间设置了严格的CPU和内存的隔离,经过了严格测试可保证有限资源下业务平稳运行。

 

CDS-EBS同时针对各服务间做了软件架构上的QoS隔离以及优先级控制,保证各服务在使用飞天盘古文件系统时不会相互干扰。在CDS-EBSCDS-OSS混部场景,同样支持不同业务间的资源隔离,确保不同业务的吞吐、空间和性能规格。CDS-EBS从性能、产能、稳定性、运维、监控告警等方面重新定义了小型化的基线,以更好地适配云定义存储场景。

 

 

 

对象存储技术能力:

 

对象存储架构从上到下主要分为三层:对象语义服务层Service Layer(Service Layer)、索引服务层 (KVLayer)和存储持久层,具有如下特点:

 

∙       领先的松耦合分布式架构对象存储各个层次的功能松耦合而且是全分布式系统,全分布式服务使得架构没有单点故障,解耦架构使得各个层次可以单独灵活扩展,以便支持海量文件存储。

∙        

∙       高可靠性和高性能对象存储在接入点时根据负载均衡没有热点负载,而且无状态支持快速故障切换,索引层根据字典序打散服务,根据热点自适应均衡,数据在持久层按块的粒度全打散副本/纠删码备份,故障后数据并发重建,快速恢复数据冗余,保证数据可靠性。各层解耦使得性能可以提高线性扩展能力,而且充分利用固态硬盘的能力实现分层存储加速,应对海量文件也能做到高可靠和高性能。

∙        

日志服务技术能力:

 

为了更好地解决存储系统与业务系统的运维问题,云定义存储引入了基于阿里云日志服务SLS构建的可观测能力,即CDS-SLSCDS-SLS致力于超大规模的PB级日志数据的计算存储,并针对偏计算和偏审计等场景推出专门的机型,更加灵活满足线下用户的需求,将计算和存储资源利用得更加充分。

 

CDS-SLS秉承"提供机制而不是策略(Separation of Mechanism and Policy"和“单一职责(Do One Thing and Do It Well)”的经典UNIX思想,各模块中有大量的后台参数可以调节,默认值能够满足大部分业务场景的需求。

 

CDS-SLS的数据采集AgentLogtail)经过多年百万机器大规模验证,在性能、稳定性上都有很好的保证,相比开源软件,可以大幅降低对机器资源的占用,最高可降低90%

 

同时针对云原生场景 Logtail Telegraf 深度集成,针对常用中间件NginxMySQLMongoDBKafka的监控数据采集到 SLS 进行查询分析。针对线下数据中心场景,通过 Syslog SNMP 方便地将硬件网络设备的日志接入分析告警,有效提高运维效率和可视化大盘信息。

相关文章
|
存储 弹性计算 数据挖掘
《阿里云存储手册》——云定义存储CDS
《阿里云存储手册》——云定义存储CDS
448 0
|
存储 运维 监控
【CDS技术揭秘系列 总篇】阿里云的云定义存储来了
全新发布的云定义存储 CDS 和传统的存储阵列、分布式存储、软件定义存储的区别在哪里?阿里云存储团队如何看待将来存储的发展趋势?本文邀请了 CDS 研发团队的核心技术负责人为大家揭开围绕着阿里云 CDS 的种种谜团。
3097 0
|
存储 云计算
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储自制脑图
191 1
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储
|
存储
《阿里云产品手册2022-2023 版》——混合云存储
《阿里云产品手册2022-2023 版》——混合云存储
123 0
《阿里云产品手册2022-2023 版》——混合云存储
|
存储 人工智能 弹性计算
《阿里云存储手册》——混合云存储
《阿里云存储手册》——混合云存储
250 0
|
存储 容灾
《混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布》电子版地址
混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布
190 0
《混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布》电子版地址
|
存储 人工智能 固态存储
从混合云存储看阿里云对下一代企业计算架构的思考
阿里云在2019年最后一个月发布了针对混合云的两款产品:入门级混合云存储阵列SA2100以及混合云CPFS一体机,加上2019年发布的混合云存储阵列中高端产品SA2600、3600、5600以及基于容器的ACK混合云2.0等,阿里云已经为2020年混合云市场的全面激活做好了准备。
从混合云存储看阿里云对下一代企业计算架构的思考
|
存储 弹性计算 容灾
混合云存储开启企业上云新路径--阿里云混合云备份容灾方案发布
当前,数据已经成为了企业的核心资产。而如果数据中心发生故障不仅会给企业带来巨大损失,甚至会直接迫使企业走向倒闭。对于企业而言,每一字节业务数据的丢失都是一场重大的灾难!那么,如何保证企业的核心数据资产不丢失,又如何保障业务不会因为灾难而中断服务?在本文中,相信阿里云混合云备份容灾方案能够解答你的问题。
3280 0
|
存储 数据中心 对象存储
阿里云发布Apsara SA系列混合云存储阵列
阿里云正式发布Apsara SA系列混合云存储阵列,融合IP SAN,FC SAN,NAS和OSS对象存储协议于一体,同时支持云缓存,云复制,云分层和云快照等多种混合云模式,全面满足企业各类应用对数据存储的可靠性,安全性,性能和灵活扩展的需求。
2511 0

相关产品

  • 混合云存储
  • 下一篇
    DataWorks