大数据流量:数据中心发展的瓶颈

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

我们都知道,大数据通常与数据中心不断增长的结构和非结构化工作负载相关。而网络负责处理传输到服务器、存储阵列和云服务的数据流量。服务器之间的密集型I/O吞吐量常常发生在数据中心或者广域网之间。伴随着大数据的来临和应用的不断增长,新的问题将会出现。由于传统的IT设施在当初设计的时候,没有考虑到大数据的情形,瓶颈问题将变得更加普遍,尤其是在存储一端,问题更加明显。

这样一来,IT业务中就会出现一种新的分支:面向新一代数据中心的数据管理。下面,我们就给大家介绍大流量阻碍数据中心发展的几大缘由:

一、大流量是一种新型工作负载

大流量是指横跨广域网连接的数据中心内服务器间的通信流量,它不同于通常情况下的大数据工作负载——也就是用户对机器或者机器之间的通信流量。


流量瓶颈阻碍数据中心发展10大因素

二、传统IT不能胜任大流量要求

导致大流量出现的主要原因是IT过去几年所形成的优势:虚拟化的广泛部署和扩展系统;远程实时迁移;数据复制和备份;专门针对基于WAN分布式系统而编写的尖端应用,比如Hadoop, MapReduce, MongoDB和Cassandra。

流量瓶颈阻碍数据中心发展10大因素

三、大流量增长没有止境

大流量增长没有具体的指标可供参考,它的增长将永无止境。Forrester Research预测说,在未来几年,由机器运行产生的应用数据将达到50%的年增长。而且,存储巨头EMC官方发布过一份报告,认为在2009至2020年间,将实现44倍数据扩容,这意味着数据带来的流量增长将是一个巨大挑战。


流量瓶颈阻碍数据中心发展10大因素

四、大流量对IT人员影响巨大

不断增长的大流量将对大型组织机构的影响最为深远,而在其中,尤以生产一线的工人、CIO、CTO、存储管理员、灾备和服务器工作人员、网络管理员和数据中心管理员等受影响最大。

流量瓶颈阻碍数据中心发展10大因素

五、数据中心和管理面临考验

日益增长的大流量将会给企业的数据中心及其管理带来严峻考验,因为它们需要解决传统和当前二者不同情形的数据传输过程中的问题。而且,还需要确保系统中基本的数据存储和访问功能正常运行。这些,将直接影响到业务的连续性、灾备和关键业务运行。

流量瓶颈阻碍数据中心发展10大因素

 

 六、如何优化现有的系统

可能的解决办法包括扩充现有网络带宽、重复数据删除、压缩和精简配置软件。数据中心也考验使用传统的WAN优化软件,使用应用加速解决方案,或者针对这种新型的大流量特点开发新技术。

流量瓶颈阻碍数据中心发展10大因素

七、解决方案面临的现实问题

某些解决方案在某些情况下不可能得以执行。比如,如果数据中心彼此相隔遥远,有效的优化方案实际效果可能并不明显;或者,服务商不能为站点之间提供足够的带宽。


流量瓶颈阻碍数据中心发展10大因素

八、网络优化的相关问题

当企业对其网络的带宽和安全性进行优化,CIO和CTO需要事先知道对网络和数据中心带来何种影响。比如,在旧有系统中引人新软件,可能会出现不能与其他旧软件或者上一代版本软件实现兼容的问题,而这容易引发系统崩溃。

流量瓶颈阻碍数据中心发展10大因素

九、优化的常规指南

企业该对如何界定数据,以确保优化方案能在IT运营中无缝执行。考虑的因素应该包括:部署的难易程度、完全透明的网络渗透、与现有系统的兼容以及低功耗。

流量瓶颈阻碍数据中心发展10大因素

十、大数据未来情形

未来数据将不断增长,数据中心静态运算和存储资源将被传送到统一的资源池中,以省时省力的经济方式充分利用虚拟化和云服务,从而减轻内部数据中心的工作负载。


本文作者:范平

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
移动开发 网络协议 测试技术
Mininet多数据中心网络拓扑流量带宽实验
Mininet多数据中心网络拓扑流量带宽实验
62 0
|
5月前
|
存储 网络协议 数据库
多数据中心的互联需求及流量原则
【7月更文挑战第21天】灾备数据中心提升业务连续性,增强用户体验与数据安全,复杂网络架构带来挑战。
|
缓存 负载均衡 安全
PHP 解决网站大数据大流量与高并发
PHP 解决网站大数据大流量与高并发
|
监控 大数据 CDN
作为互联网流量入口,CDN日志大数据你该怎么玩?
CDN是非常重要的互联网基础设施,用户可以通过CDN,快速的访问网络中各种图片,视频等资源。在访问过程中,CDN会产生大量的日志数据,而随着如今越来越复杂的网络环境变化,和业务的迅速增长,日志数据变得更大量、更多维度,同时其稳定性和报警监控的要求越来越高。
2167 0
|
运维 算法 大数据
【阿里云MVP第五期】安畅网络韩军辉:ELK在数据中心流量分析中的应用
本文节选自阿里云MVP第五期嘉宾上海安畅运维专家韩军辉分享话题《ELK在运维工作中应用两三事》。从实际应用的角度,分享了ELK在混合云数据中心场景下流量收集、分析、存储、展现、告警中的实践。
7166 0