向云上迁移数据时如何避免停机和中断

简介:

向云上迁移数据时如何避免停机和中断

摘要:越来越多的组织需要在数据中心/云之间移动数据,但是在迁移过程中的一个关键风险点是停机。

在2017年的业务持续性意识周这里,我希望它能提供一个新的机会,来回顾这一领域云的一些局限性。

根据451项研究的最新估计,大约60%的IT工作负载将在明年以某种形式的公共或私有云运行。It项目在关键领域的增长尤其强劲,包括数据分析和核心业务应用。IDC、Gartner和Forrester的研究结果大致相同——云正在迅速成为中心,而不是一般IT供应的外围设备。

难怪It领导们对数据迁移的风险以及相关的停机时间表示担忧。现在,典型的数据量1000到100万倍于10到20年前的普通企业数据库的大小。这意味着与迁移相关的潜在停机时间将会增加很多倍。这已经不再是一个15分钟的时间了——这可能是几个小时的停机时间,而数据问题需要被解决。

企业知道他们需要更多地利用云,特别是做更有战略性和聪明的事情:高速、高容量的数据处理,以支持实时决策和复杂的自动化。今天产生的数据量也使得建立二级数据中心成本高得令人望而却步:进一步推动公司进入云计算。

但从这里到那里的痛苦仍然让人望而却步。他们的数据在传输过程中可能会发生什么,如果他们不能再获得访问,如果他们同时被其他地方使用,他们又怎么能继续使用实时数据呢?

延迟也是一个问题。数据中心的建立非常接近于防止与网络传输相关的性能下降。但在云计算中,物理服务器场之间的距离并不在公司的控制范围内,因此性能问题——可能会降低数据可用性和协调——是一个重要的考虑因素。

在灾难恢复场景中,对停机时间的担忧也是有效的。当远程数据中心被调用以使实时系统恢复运行并快速运行时,CIO们就非常适合于担心停机时间或数据丢失——例如,近距离和远程系统之间的同步不足。

未来就是现在

无论是日常的后台系统,还是那些与人工智能或物联网相关的雄心勃勃的新项目,组织都需要能够依赖于他们一直在处理的数据的可用性和完整性。

例如,对于无人驾驶汽车来说,所有各方(乘客、汽车制造商、保险公司和第三方服务提供商)都需要绝对保证,他们所连接的车辆仪器、传感器和基于云的平台将能够实时发送、接收、解释和处理数据。据估计,一个拥有传感器、相机和激光测量(激光雷达测量)的无人驾驶汽车每秒可以产生100Gb的数据。

使用不断变化的数据集(不需要停机,也不中断)提供一个可行的服务的唯一方法是通过我们称为活动数据复制的东西。这允许实时数据同时存在于多个地方,不存在不同步的风险,也不需要在每个端点更新时中断。这种能力将使汽车制造商和服务伙伴能够分析和响应实时数据,了解车辆的运行情况,实时识别异常情况,并先发制人地确定需要采取哪些补救措施。

公司不需要向明星们寻求这样的数据完整性挑战。许多组织正在转向基于hadoop的分析(一种以速度进行大规模数据处理的特殊方式),将大数据转化为有意义的、可操作的日常活动。例如,许多企业使用Hadoop来分析和响应Twitter活动。但是,这通常意味着将数据放到云中,在那里,所需的处理能力很容易获得。

除非他们正在处理历史数据,否则公司将继续需要访问其核心业务系统中的数据——这些数据将继续更新。在这种情况下,使用云进行处理并不是简单地将一批完整的数据发送到目的地,而是在魔法发生后将其返回到目的地,并将其返回。

紧迫的暂停不是一个选择

当分析发生在现场,生产数据时,公司无法承受数据来源的位置和数据处理的点不同步。他们也不能等待数天——为了数据的移动,在任何新事物发生之前进行分析和反馈。这不仅仅是停机时间:它是瘫痪。这还没有考虑到在转换过程中可能发生的任何腐败问题,也没有考虑到Hadoop分析事件后数据被协调的结果。

同样,避免停机和与数据移动相关的中断的唯一方法是找到一种方法,在不同位置之间持续更新和同步数据。类似的谷歌通过精心制作的卫星装置实现了这一点。但你也可以像我们一样使用聪明的算法。 


原文发布时间为:2017-10-31

本文作者:xiaoli110

本文来自云栖社区合作伙伴“51CTO”,了解相关信息可以关注。

相关文章
|
22天前
|
监控 测试技术 网络虚拟化
如何提高系统的可用性时间
提高系统可用性时间的关键在于优化设计、强化监控与维护。通过冗余配置、故障转移、定期更新和实时监控等手段,可以有效减少系统停机时间,确保服务稳定运行。
|
2月前
|
运维 监控 安全
自动恢复机制在哪些情况下可能无法正常工作,有哪些替代方案?
自动恢复机制在哪些情况下可能无法正常工作,有哪些替代方案?
|
4月前
|
运维 监控 安全
自动恢复机制在哪些情况下可能无法正常工作
自动恢复机制在哪些情况下可能无法正常工作
|
5月前
|
运维 关系型数据库 分布式数据库
如何减少闪断时间和影响范围
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
7月前
|
NoSQL 关系型数据库 MySQL
主备切换大揭秘:保证系统永不停机的秘密
本文由小米分享,介绍了分布式系统中的主备切换机制,旨在确保高可用性和可靠性。内容涵盖热备和冷备的概念,以及MySQL和Redis的主从复制原理和配置方法。通过主从复制,当主服务器故障时,备服务器能接管工作,维持服务连续性。文章还讨论了主备切换的挑战,如数据一致性与切换延迟,并提出了相应的解决方案。最后,作者鼓励读者就该主题提出疑问和建议。
429 4
|
缓存 容灾 NoSQL
变形记---容灾恢复 ,异常崩溃引发服务器丢档或无法正常运行
最近我给M部门面试服务器主程序开发的职位,我只问他们的架构设计经验,我发现相当一部分5-12年“本应该有足够开发经验”的开发组长,或开发主程序缺乏设计,缺乏容错,缺乏创新,比如一些服务器宕机如何崩溃拉起恢复玩家数据,数据库的异步线程读写如何避免被其他线程写回呢,至少目前能听到合理方案的面试者的回答不多,这也是我想写这篇文章的出发点,以此来分享给大家, 不仅仅是为了应付面试,更是解决实际问题的一种思路。 如题,举例说明:游戏服务器(或者其他业务服务器)正常运行中出现了异常崩溃,可能是异常断电引发,可能是云服务商的软硬件问题引发,这种情况下,你们的服务器架构有没有做灾难恢复处理? 使得
|
安全 关系型数据库 MySQL
为什么延迟复制适用于备库数据的紧急恢复?底层原理是什么?
为什么延迟复制适用于备库数据的紧急恢复?底层原理是什么?
124 0
|
监控 关系型数据库 MySQL
如何避免长事务对业务的影响?
大家好前面我们大概了解了关于事务的隔离级别,实现方式,启动方式的细节,长事务与短事务的区别。今天我们延伸介绍一下,如果因为失误用了长事务,那我们在工作中如何发现问题,排查问题?
|
存储 监控 搜索推荐