Cloudera CDP灾难恢复简介

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 客户旅程正在从单一数据集群、单一云和简单的基础设施演变为健壮、容错的架构,使得可以在故障事件中幸存下来并保持客户正常运行。目标是在运营危机期间尽量减少对客户数据驱动决策的影响。为此,我们需要为 CDP 实施建立标准,以解决故障、缓解故障。

在过去的十年中,数据和数据驱动的洞察力与公司有效运营能力的整合出现了爆炸性增长,为那些做得好的公司带来了不断增长的竞争优势。我们的客户已经习惯了这种洞察力带来的决策速度。数据对于长期战略和日常甚至每分钟的运营都是不可或缺的。


每天,我们都看到Cloudera 数据平台(CDP) 正在成为客户必须以可用、可靠和有弹性的方式运行的关键业务分析平台。数据平台不再是臭鼬工程或科学实验。客户现在希望他们的应用程序堆栈中的企业行为,无论该应用程序做什么。当客户导入他们的大型机和遗留数据仓库工作负载时,平台期望它能够满足(如果不超过)先前系统及其相关依赖项的弹性。


自我们最初发布以来,许多客户都迁移到了 CDP 产品线,无论是在 CDP 私有云、CDP 公共云还是两者的混合组合中。我们现在看到客户利用其新功能及其为业务转型带来的价值,并询问“我的 CDP 之旅的下一步是什么?”  

# 1. 为什么要进行灾难恢复?

灾难恢复和业务连续性规划主要侧重于管理和降低风险。客户,尤其是那些在数据保护和合规要求严格的受监管行业中的客户,通常会向我们的技术战略专家提出一个直截了当的问题:如果灾难袭击我的业务并威胁要摧毁我的数据平台,我该怎么办?答案很简单:客户旅程正在从单一数据集群、单一云和简单的基础设施演变为健壮、容错的架构,这些架构可以在故障事件中幸存下来并保持客户正常运行。目标是在运营危机期间尽量减少对客户数据驱动决策的影响。为此,我们需要为 CDP 实施建立标准,以解决故障、缓解故障、


我们从与一些最前沿客户的实际实施中获得这些设计,将这些学习推广到可重复的模式中,以便它们适用于客户规模和行业,并宣传这些模式以提高意识和可支持性。

# 2. CDP 灾难恢复参考架构

今天,我们宣布正式发布 CDP 灾难恢复参考架构 (DRRA)。 DRRA 侧重于描述如何考虑 Cloudera 数据平台的可靠性、弹性和恢复,并且是一份活生生的文档,描述了我们跨平台和跨客户收集的学习成果。


此初始版本侧重于适用于产品线的常见行业定义、我们认为客户在考虑数据平台的灾难恢复和业务连续性规划时应遵循的行业标准,以及要考虑的一组初始指南和灾难场景在实施强大的数据平台时。此外,我们还讨论了各种组件的灾难恢复准备状态以及每个组件的具体弹性策略。


CDP灾难恢复参考架构可在我们的CDP 参考架构微型站点内的公共文档中找到。

# 3. 术语和标准的重要性

当我们与跨行业垂直和组织规模的客户一起研究灾难恢复设计和策略时,我们发现每个人都以不同的方式使用术语。一致且可重复地传达想法成为一项挑战。这对于灾难恢复尤为重要,因为错误描述会带来细微差别和影响。充其量,它会导致混乱。在最坏的情况下,它可能会让客户对他们的灾难准备产生一种虚假的安全感。


在 Cloudera 中,我们已经开始遵循涵盖业务连续性运营的两个行业标准。第一个是 ISO 27031:2011,有助于描述事件响应所涉及的过程和程序。这包括有助于构建事件响应流程的计划、执行、检查和行动生命周期。第二个,NIST 800-34,为美国联邦组织的应急计划提供一般指南。虽然这些技术性质不高,但它们确实为成功的连续性规划提供了必要的结构和流程框架。


必须了解恢复点目标 (RPO) 和恢复时间目标 (RTO) 等术语之间的区别,或时间点恢复 (Tier 4) 和两点提交事务完整性 (Tier 5) 的功能影响七层灾难恢复模型。

# 4. 接下来是什么?

使用我们的混合模型,在非常频繁的使用期间突入云端对于在发生主要故障时进行灾难恢复也特别具有成本效益。可以设计备用系统来满足典型期间的存储需求,并使用Data Lake Scaling等新功能为故障转移场景提供突发计算。


Cloudera 不断改进产品和流程,使灾难恢复更易于实施。在参考架构的未来更新中,我们将描述围绕特定用例的示例实现模式,例如为操作数据库或数据仓库实现地理上分离的集群用例。例如,我们正在为主动/被动、地理上分散的灾难恢复集群对集成架构图,如下图所示,显示了一个公共应用程序区域以及数据摄取和分析,以及复制如何在系统中移动。在此示例中,我们有一个车队遥测用例,它将车辆物联网数据转移到系统中以进行车队维护分析,客户的工程人员不断对其进行审查,以防止意外的机械故障。灾难恢复计划有助于确保在发生意外中断时继续进行维护分析。

图片 1.png

此外,我们继续进行产品改进,包括:

- 扩展 Replication Manager 功能以涵盖今年晚些时候推出的Apache Ozone对象存储,以更好地支持客户围绕大规模和密集数据存储的灾难恢复需求。

- 为我们的核心服务和某些关键数据服务(例如 CDP 公共云中的数据湖和数据中心服务)提供多可用区部署。

- 自动修复、恢复、扩展和重新平衡核心数据服务,例如我们的运营数据库。

# 5. 结论

随着企业不断发展他们对数据的经验和对数据的严重依赖,数据越是成为企业持续成功的重要组成部分。在过去十年中,我们了解到数据和提供数据辅助洞察力的平台需要可用、可靠和稳健。了解和规划灾难恢复是迈向现代数据架构的下一步。


如果您想了解更多信息,请通读CDP 灾难恢复参考架构并联系我们的客户和专业服务团队,他们可以提供帮助。我们期待与您交谈并帮助您充分利用您的数据。


原文作者:Travis Campbell


原文链接:https://blog.cloudera.com/an-introduction-to-disaster-recovery-with-the-cloudera-data-platform/

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
SQL 安全 Java
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(3)
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(3)
194 0
|
安全 API 数据处理
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(1)
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(1)
258 0
|
API 数据处理
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)
264 0
|
SQL 存储 分布式计算
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(4)
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(4)
166 0
|
SQL 分布式计算 安全
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (5)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (5)
380 0
|
大数据 定位技术
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
282 0
|
机器学习/深度学习 消息中间件 监控
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (4)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (4)
295 0
|
弹性计算 分布式计算 安全
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
320 0
|
SQL 安全 大数据
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
695 0
|
分布式计算 安全 API
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (9)
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (9)
164 0