在过去的十年中,数据和数据驱动的洞察力与公司有效运营能力的整合出现了爆炸性增长,为那些做得好的公司带来了不断增长的竞争优势。我们的客户已经习惯了这种洞察力带来的决策速度。数据对于长期战略和日常甚至每分钟的运营都是不可或缺的。
每天,我们都看到Cloudera 数据平台(CDP) 正在成为客户必须以可用、可靠和有弹性的方式运行的关键业务分析平台。数据平台不再是臭鼬工程或科学实验。客户现在希望他们的应用程序堆栈中的企业行为,无论该应用程序做什么。当客户导入他们的大型机和遗留数据仓库工作负载时,平台期望它能够满足(如果不超过)先前系统及其相关依赖项的弹性。
自我们最初发布以来,许多客户都迁移到了 CDP 产品线,无论是在 CDP 私有云、CDP 公共云还是两者的混合组合中。我们现在看到客户利用其新功能及其为业务转型带来的价值,并询问“我的 CDP 之旅的下一步是什么?”
# 1. 为什么要进行灾难恢复?
灾难恢复和业务连续性规划主要侧重于管理和降低风险。客户,尤其是那些在数据保护和合规要求严格的受监管行业中的客户,通常会向我们的技术战略专家提出一个直截了当的问题:如果灾难袭击我的业务并威胁要摧毁我的数据平台,我该怎么办?答案很简单:客户旅程正在从单一数据集群、单一云和简单的基础设施演变为健壮、容错的架构,这些架构可以在故障事件中幸存下来并保持客户正常运行。目标是在运营危机期间尽量减少对客户数据驱动决策的影响。为此,我们需要为 CDP 实施建立标准,以解决故障、缓解故障、
我们从与一些最前沿客户的实际实施中获得这些设计,将这些学习推广到可重复的模式中,以便它们适用于客户规模和行业,并宣传这些模式以提高意识和可支持性。
# 2. CDP 灾难恢复参考架构
今天,我们宣布正式发布 CDP 灾难恢复参考架构 (DRRA)。 DRRA 侧重于描述如何考虑 Cloudera 数据平台的可靠性、弹性和恢复,并且是一份活生生的文档,描述了我们跨平台和跨客户收集的学习成果。
此初始版本侧重于适用于产品线的常见行业定义、我们认为客户在考虑数据平台的灾难恢复和业务连续性规划时应遵循的行业标准,以及要考虑的一组初始指南和灾难场景在实施强大的数据平台时。此外,我们还讨论了各种组件的灾难恢复准备状态以及每个组件的具体弹性策略。
CDP灾难恢复参考架构可在我们的CDP 参考架构微型站点内的公共文档中找到。
# 3. 术语和标准的重要性
当我们与跨行业垂直和组织规模的客户一起研究灾难恢复设计和策略时,我们发现每个人都以不同的方式使用术语。一致且可重复地传达想法成为一项挑战。这对于灾难恢复尤为重要,因为错误描述会带来细微差别和影响。充其量,它会导致混乱。在最坏的情况下,它可能会让客户对他们的灾难准备产生一种虚假的安全感。
在 Cloudera 中,我们已经开始遵循涵盖业务连续性运营的两个行业标准。第一个是 ISO 27031:2011,有助于描述事件响应所涉及的过程和程序。这包括有助于构建事件响应流程的计划、执行、检查和行动生命周期。第二个,NIST 800-34,为美国联邦组织的应急计划提供一般指南。虽然这些技术性质不高,但它们确实为成功的连续性规划提供了必要的结构和流程框架。
必须了解恢复点目标 (RPO) 和恢复时间目标 (RTO) 等术语之间的区别,或时间点恢复 (Tier 4) 和两点提交事务完整性 (Tier 5) 的功能影响七层灾难恢复模型。
# 4. 接下来是什么?
使用我们的混合模型,在非常频繁的使用期间突入云端对于在发生主要故障时进行灾难恢复也特别具有成本效益。可以设计备用系统来满足典型期间的存储需求,并使用Data Lake Scaling等新功能为故障转移场景提供突发计算。
Cloudera 不断改进产品和流程,使灾难恢复更易于实施。在参考架构的未来更新中,我们将描述围绕特定用例的示例实现模式,例如为操作数据库或数据仓库实现地理上分离的集群用例。例如,我们正在为主动/被动、地理上分散的灾难恢复集群对集成架构图,如下图所示,显示了一个公共应用程序区域以及数据摄取和分析,以及复制如何在系统中移动。在此示例中,我们有一个车队遥测用例,它将车辆物联网数据转移到系统中以进行车队维护分析,客户的工程人员不断对其进行审查,以防止意外的机械故障。灾难恢复计划有助于确保在发生意外中断时继续进行维护分析。
此外,我们继续进行产品改进,包括:
- 扩展 Replication Manager 功能以涵盖今年晚些时候推出的Apache Ozone对象存储,以更好地支持客户围绕大规模和密集数据存储的灾难恢复需求。
- 为我们的核心服务和某些关键数据服务(例如 CDP 公共云中的数据湖和数据中心服务)提供多可用区部署。
- 自动修复、恢复、扩展和重新平衡核心数据服务,例如我们的运营数据库。
# 5. 结论
随着企业不断发展他们对数据的经验和对数据的严重依赖,数据越是成为企业持续成功的重要组成部分。在过去十年中,我们了解到数据和提供数据辅助洞察力的平台需要可用、可靠和稳健。了解和规划灾难恢复是迈向现代数据架构的下一步。
如果您想了解更多信息,请通读CDP 灾难恢复参考架构并联系我们的客户和专业服务团队,他们可以提供帮助。我们期待与您交谈并帮助您充分利用您的数据。
原文作者:Travis Campbell
原文链接:https://blog.cloudera.com/an-introduction-to-disaster-recovery-with-the-cloudera-data-platform/