6. 云定义存储CDS
产品介绍:
云定义存储(Cloud Defined Storage,CDS)通过盘古全新的QoS框架将对象存储OSS、块存储EBS、日志服务 SLS和灾备服务 HBR多个存储产品融合部署在同一套物理服务器上,与公共云上规模化的存储服务做到了代码版本基本一致,弥合了以往混合云版本和公共云版本差距较大的问题。
云定义存储是一个全新的软件定义存储,既能够在定制的存储服务器上软硬一体优化输出,也支持x86服务器到各平台的软件输出模式。其中最核心的关键词是“云定义”,具有云原生(Cloud Native)、云规模(Cloud Scale)、云服务(Cloud Service)、云连通(to Cloud)、云部署(on Cloud)以及混合多云(Hybrid Multi Cloud)等优势。
块存储技术能力:
云定义存储提供了数据块级别的随机存储CDS-EBS,具有低时延、强持久性、高可靠等特点,采用CDS-EBS依托于盘古提供的异步写、后台读等能力,可提供稳定的时延和故障恢复能力。
CDS-EBS在云盘调度和QoS等方面经过充分优化,可保持服务器之间和云盘之间流量公平分配,保证用户稳定的体验。CDS-EBS会经过严格的故障切换测试和破坏性测试,可在进程挂掉、机器宕机、物理盘损坏、单机网络故障等场景做到业务流量平稳,同时管控节点宕机可做到持续服务,热升级可做到用户无感知。
CDS-EBS提供全链路CRC校验能力,可有效校验出I/O传输过程中的网络、CPU、内存错误,不会将错误数据返回给用户。同时针对内部一些逻辑如纠删码、压缩、TRIM进行额外的算法维度的校验,确保纠删码、压缩和TRIM算法不会导致数据错误。
CDS-EBS会针对冷数据进行后台扫描,除了物理介质上存储的数据CRC校验外,还包括数据读上来之后进行文件格式解析、解压后的校验,以及副本间数据一致性的校验,经过优化,绝大部分场景可保证60天内完成一轮整集群粒度的数据扫描。
CDS-EBS集群规模相比公共云要小很多,最小支持6台服务器集群,目的是降低起建规模,节省用户成本。CDS-EBS会在单台服务器上混合部署不同服务,如元数据服务节点、数据存储节点等,各服务之间设置了严格的CPU和内存的隔离,经过了严格测试可保证有限资源下业务平稳运行。
CDS-EBS同时针对各服务间做了软件架构上的QoS隔离以及优先级控制,保证各服务在使用飞天盘古文件系统时不会相互干扰。在CDS-EBS与CDS-OSS混部场景,同样支持不同业务间的资源隔离,确保不同业务的吞吐、空间和性能规格。CDS-EBS从性能、产能、稳定性、运维、监控告警等方面重新定义了小型化的基线,以更好地适配云定义存储场景。
对象存储技术能力:
对象存储架构从上到下主要分为三层:对象语义服务层Service Layer(Service Layer)、索引服务层 (KVLayer)和存储持久层,具有如下特点:
∙ 领先的松耦合分布式架构:对象存储各个层次的功能松耦合而且是全分布式系统,全分布式服务使得架构没有单点故障,解耦架构使得各个层次可以单独灵活扩展,以便支持海量文件存储。
∙
∙ 高可靠性和高性能:对象存储在接入点时根据负载均衡没有热点负载,而且无状态支持快速故障切换,索引层根据字典序打散服务,根据热点自适应均衡,数据在持久层按块的粒度全打散副本/纠删码备份,故障后数据并发重建,快速恢复数据冗余,保证数据可靠性。各层解耦使得性能可以提高线性扩展能力,而且充分利用固态硬盘的能力实现分层存储加速,应对海量文件也能做到高可靠和高性能。
∙
日志服务技术能力:
为了更好地解决存储系统与业务系统的运维问题,云定义存储引入了基于阿里云日志服务SLS构建的可观测能力,即CDS-SLS。CDS-SLS致力于超大规模的PB级日志数据的计算存储,并针对偏计算和偏审计等场景推出专门的机型,更加灵活满足线下用户的需求,将计算和存储资源利用得更加充分。
CDS-SLS秉承"提供机制而不是策略(Separation of Mechanism and Policy)"和“单一职责(Do One Thing and Do It Well)”的经典UNIX思想,各模块中有大量的后台参数可以调节,默认值能够满足大部分业务场景的需求。
CDS-SLS的数据采集Agent(Logtail)经过多年百万机器大规模验证,在性能、稳定性上都有很好的保证,相比开源软件,可以大幅降低对机器资源的占用,最高可降低90%。
同时针对云原生场景 Logtail 和 Telegraf 深度集成,针对常用中间件Nginx、MySQL、MongoDB、Kafka的监控数据采集到 SLS 进行查询分析。针对线下数据中心场景,通过 Syslog 和 SNMP 方便地将硬件网络设备的日志接入分析告警,有效提高运维效率和可视化大盘信息。