向云上迁移数据时如何避免停机和中断

简介:

向云上迁移数据时如何避免停机和中断

摘要:越来越多的组织需要在数据中心/云之间移动数据,但是在迁移过程中的一个关键风险点是停机。

在2017年的业务持续性意识周这里,我希望它能提供一个新的机会,来回顾这一领域云的一些局限性。

根据451项研究的最新估计,大约60%的IT工作负载将在明年以某种形式的公共或私有云运行。It项目在关键领域的增长尤其强劲,包括数据分析和核心业务应用。IDC、Gartner和Forrester的研究结果大致相同——云正在迅速成为中心,而不是一般IT供应的外围设备。

难怪It领导们对数据迁移的风险以及相关的停机时间表示担忧。现在,典型的数据量1000到100万倍于10到20年前的普通企业数据库的大小。这意味着与迁移相关的潜在停机时间将会增加很多倍。这已经不再是一个15分钟的时间了——这可能是几个小时的停机时间,而数据问题需要被解决。

企业知道他们需要更多地利用云,特别是做更有战略性和聪明的事情:高速、高容量的数据处理,以支持实时决策和复杂的自动化。今天产生的数据量也使得建立二级数据中心成本高得令人望而却步:进一步推动公司进入云计算。

但从这里到那里的痛苦仍然让人望而却步。他们的数据在传输过程中可能会发生什么,如果他们不能再获得访问,如果他们同时被其他地方使用,他们又怎么能继续使用实时数据呢?

延迟也是一个问题。数据中心的建立非常接近于防止与网络传输相关的性能下降。但在云计算中,物理服务器场之间的距离并不在公司的控制范围内,因此性能问题——可能会降低数据可用性和协调——是一个重要的考虑因素。

在灾难恢复场景中,对停机时间的担忧也是有效的。当远程数据中心被调用以使实时系统恢复运行并快速运行时,CIO们就非常适合于担心停机时间或数据丢失——例如,近距离和远程系统之间的同步不足。

未来就是现在

无论是日常的后台系统,还是那些与人工智能或物联网相关的雄心勃勃的新项目,组织都需要能够依赖于他们一直在处理的数据的可用性和完整性。

例如,对于无人驾驶汽车来说,所有各方(乘客、汽车制造商、保险公司和第三方服务提供商)都需要绝对保证,他们所连接的车辆仪器、传感器和基于云的平台将能够实时发送、接收、解释和处理数据。据估计,一个拥有传感器、相机和激光测量(激光雷达测量)的无人驾驶汽车每秒可以产生100Gb的数据。

使用不断变化的数据集(不需要停机,也不中断)提供一个可行的服务的唯一方法是通过我们称为活动数据复制的东西。这允许实时数据同时存在于多个地方,不存在不同步的风险,也不需要在每个端点更新时中断。这种能力将使汽车制造商和服务伙伴能够分析和响应实时数据,了解车辆的运行情况,实时识别异常情况,并先发制人地确定需要采取哪些补救措施。

公司不需要向明星们寻求这样的数据完整性挑战。许多组织正在转向基于hadoop的分析(一种以速度进行大规模数据处理的特殊方式),将大数据转化为有意义的、可操作的日常活动。例如,许多企业使用Hadoop来分析和响应Twitter活动。但是,这通常意味着将数据放到云中,在那里,所需的处理能力很容易获得。

除非他们正在处理历史数据,否则公司将继续需要访问其核心业务系统中的数据——这些数据将继续更新。在这种情况下,使用云进行处理并不是简单地将一批完整的数据发送到目的地,而是在魔法发生后将其返回到目的地,并将其返回。

紧迫的暂停不是一个选择

当分析发生在现场,生产数据时,公司无法承受数据来源的位置和数据处理的点不同步。他们也不能等待数天——为了数据的移动,在任何新事物发生之前进行分析和反馈。这不仅仅是停机时间:它是瘫痪。这还没有考虑到在转换过程中可能发生的任何腐败问题,也没有考虑到Hadoop分析事件后数据被协调的结果。

同样,避免停机和与数据移动相关的中断的唯一方法是找到一种方法,在不同位置之间持续更新和同步数据。类似的谷歌通过精心制作的卫星装置实现了这一点。但你也可以像我们一样使用聪明的算法。 


原文发布时间为:2017-10-31

本文作者:xiaoli110

本文来自云栖社区合作伙伴“51CTO”,了解相关信息可以关注。

相关文章
|
缓存 数据安全/隐私保护 网络架构
【计算机网络】局域网体系结构、以太网Ethernet详解
【计算机网络】局域网体系结构、以太网Ethernet详解
627 0
|
10月前
|
机器学习/深度学习 人工智能 PyTorch
模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作
UniRig是清华大学与VAST联合研发的自动骨骼绑定框架,基于自回归模型与交叉注意力机制,支持多样化3D模型的骨骼生成与蒙皮权重预测,其创新的骨骼树标记化技术显著提升动画制作效率。
1664 27
模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作
|
11月前
|
存储 SQL 数据库
【赵渝强老师】达梦数据库的数据库对象
达梦数据库包含基本与复杂两大类数据库对象。基本对象如表、索引、视图、序列和同义词,通过单一DDL语句创建和管理。表是数据存储核心,支持多种数据类型;索引提升查询速度,常见类型包括聚集、唯一、函数等索引;视图提供虚表功能;序列生成有序整数;同义词简化对象访问。复杂对象包括存储过程、函数和触发器,需用DMSQL语言开发,适用于更复杂的业务逻辑处理。文中通过实例详细介绍了各类对象的创建与使用方法。
589 3
|
11月前
|
存储 缓存 Java
极速启动,SAE 弹性加速全面解读
本文将深入探讨 SAE 如何通过镜像加速、应用启动加速、CPU Burst 等核心技术手段,实现极速启动与高效运行,帮助用户构建更加稳定、高效的云端应用。
523 107
|
机器学习/深度学习 存储 测试技术
【YOLOv8改进】iRMB: 倒置残差移动块 (论文笔记+引入代码)
该专栏聚焦YOLO目标检测的创新改进与实战案例,提出了一种融合CNN和Transformer优点的轻量级模型——倒置残差移动块(iRMB)。iRMB旨在平衡参数、运算效率与性能,适用于资源有限的移动端。通过集成多头自注意力和卷积,iRMB在ImageNet-1K等基准上超越SOTA,同时在iPhone14上展现出比EdgeNeXt快2.8-4.0倍的速度。此外,iRMB设计简洁,适用于各种计算机视觉任务,展示出良好的泛化能力。代码示例展示了iRMB模块的实现细节。更多详细信息和配置可在相关链接中找到。
|
算法 Unix Linux
linux线程调度策略
linux线程调度策略
437 0
|
机器学习/深度学习 Python
音频去噪:使用Python和FFT增强音质
声音去噪目标是改善聆听体验以及音频分析和处理的准确性。过滤掉噪音对于高保真音频来说非常重要,不仅是为了聆听,也是为了创建某些机器学习任务的数据集。
562 0
音频去噪:使用Python和FFT增强音质
|
存储 安全 小程序
DaaS架构及落地 (一)
DaaS 数据即服务是一种服务模式,即将数据以服务的形式,向客户提供价值,参与到客户的业务中,它也是软件即服务的一种细分领域。同时DaaS 拥有云计算的通用特点,包括以租代买,按需付费、按用付费。 本文介绍 DaaS 的架构及实现选择,对于拥有大量优质数据资源的企业,可以参考构建起数据业务线,进而实现数据的资产化、价值化。需要说明的是本文中的各种图例仅是逻辑示意,均做了简化。
1748 1
DaaS架构及落地 (一)
|
安全 Java
《Java安全编码标准》一导读
对于使用Java编程语言开发的软件系统,这个编码规范具有广泛的影响。
7486 0
|
C++ 容器
项目案例一:基于C++的图书馆管理系统
项目案例一:基于C++的图书馆管理系统
634 0