构建大数据网络 需要重视这五个地方

简介: 在人们考虑大数据时,人们留意到了“大”这一个字,可是在投建基础架构时,人们还应当留意“分布式”。实际上,大数据的应用程序需要处理大量信息,并且在出自弹性的考虑将数据拷贝到多个部位时,信息的规模变得越来越大。

在人们考虑大数据时,人们留意到了“大”这一个字,可是在投建基础架构时,人们还应当留意“分布式”。

实际上,大数据的应用程序需要处理大量信息,并且在出自弹性的考虑将数据拷贝到多个部位时,信息的规模变得越来越大。可是,大数据的最关键属性并非在于它的规模,而在于它将大作业切分成很多小作业的能力,它才能将解决一两个任务的资源细化到好几个位置变成并行处理。

在将大规模和分布式架构组合合为一体时,人们就能发觉大数据网络有一组独特的需求。下边是需要考量的五个层面:

1.网络弹性与大数据的应用程序

假如有一组分布式资源必需通过互联网络开展协调时,可用性就显得尤为重要。假如互联网出现故障,那样导致的不良影响是出现不持续的坏计算资源与数据集。

精确地说,大部分网络结构和工程师的首要侧重点是正常运作时间。可是,网络问题时间的根本原因又不尽相同。他们或者来源于于各个领域,包含机械故障(硬件与软件)、维系和人为错误。故障是无法避免的。尽管网络的高度可用性也很关键,可是想要设计极致可用性是不可能的。

网络架构师不能用故障来躲避目的,而应当设计某些能适应故障的弹性网络。网络的弹性在于路径多样性(资源之间设置多条路径)和故障转移(可以迅速察觉问题和迁移到其他路径上)。除开传统的平均故障时间间隔(MTBF)方法,大数据网络的真正设计标准必须要包括这些性能。

2.处理大数据的应用中的网络拥塞问题

大数据的应用程序不但是规模大,并且也有一种我称之为突发性的特性。当一个作业启动之后,数据就开始调拨。在高流量时间段里,拥塞是一个严重的问题。殊不知,拥塞将会造成更多的队列时间延迟和丢包率。除此之外,拥塞还将会触发重转,这可能让实际上负荷艰巨的互联网没法承受。因而,网络架构设计时应当尽可能减少拥塞点。按照可用性的设计标准,降低拥塞要求网络具有较高的路径多样性,这样才能容许网络将流量分离到很多不一的路径上。

3.大数据中网络一致性要比迟延性更关键

事实上,大部分大数据应用程序对网络延迟不太敏感。假如计算时间的数量级为几秒钟或几分钟,那样即便网络上出现较大延时也是无所谓的——数量级大约为几千毫秒。殊不知,大数据应用程序通常具备较高的同步性。这代表着作业是并行执行的,而各个作业之间较大的性能差异或者会引起程序运行的故障。为此,网络不但要足够高效,并且要在时间与空间上具备相同的性能。

4.目前就要准备大数据将来的可伸缩性

或者令人有点意外的是,大部分大数据集群事实上并不大。或者说,即便每台服务器配置双向冗余,适用全部集群也只需要四个接入交换机(假定是分別有72个10GbE浏览端口的Broadcom交换机)。

可伸缩性并非在于现如今集群目前有多规模性,而是说怎样均衡地拓展支持将来的部署规模。假如基础架构设计目前只合适小规模部署,那样这个架构将怎样随之节点数目的增多而持续进化?在未来某一个时刻,它是不是需要完全重新设计架构?这个架构是不是必须某些短程数据和数据位置信息?重要是要记住,可伸缩性并非取决于绝对规模,而是更关注于实现足够规模解决方案的路径。

5.利用网络分割来处理大数据

网络分割是创建大数据环境的关键条件。在非常简单的形式上,分割将会暗示着要将大数据流量与其余网络流量分离,这样应用程序形成的突发流量才不易影响别的核心任务工作负荷。此外,人们还需要解决运行多个作业的多个租户,以考虑性能、合规性和/或审计的需求。这些工作要求在一些场合中实现网络负荷的逻辑分离,某些场所则还要实现它们的物理分离。架构师必须同时在两个层面上开展规划,可是原始需求最好统一在一起。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
前端开发 JavaScript 开发者
JavaScript:构建动态网络的引擎
JavaScript:构建动态网络的引擎
|
6月前
|
机器学习/深度学习 算法 量子技术
GQNN框架:让Python开发者轻松构建量子神经网络
为降低量子神经网络的研发门槛并提升其实用性,本文介绍一个名为GQNN(Generalized Quantum Neural Network)的Python开发框架。
155 4
GQNN框架:让Python开发者轻松构建量子神经网络
|
5月前
|
机器学习/深度学习 算法 大数据
构建数据中台,为什么“湖仓一体”成了大厂标配?
在大数据时代,数据湖与数据仓库各具优势,但单一架构难以应对复杂业务需求。湖仓一体通过融合数据湖的灵活性与数据仓的规范性,实现数据分层治理、统一调度,既能承载海量多源数据,又能支撑高效分析决策,成为企业构建数据中台、推动智能化转型的关键路径。
|
3月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的青少年网络使用情况分析及预测系统
本研究基于Python大数据技术,构建青少年网络行为分析系统,旨在破解现有防沉迷模式下用户画像模糊、预警滞后等难题。通过整合多平台亿级数据,运用机器学习实现精准行为预测与实时干预,推动数字治理向“数据驱动”转型,为家庭、学校及政府提供科学决策支持,助力青少年健康上网。
|
4月前
|
分布式计算 安全 大数据
别等被黑客敲门才醒悟:大数据如何帮你防住网络攻击?
别等被黑客敲门才醒悟:大数据如何帮你防住网络攻击?
209 32
|
4月前
|
人工智能 监控 数据可视化
如何破解AI推理延迟难题:构建敏捷多云算力网络
本文探讨了AI企业在突破算力瓶颈后,如何构建高效、稳定的网络架构以支撑AI产品化落地。文章分析了典型AI IT架构的四个层次——流量接入层、调度决策层、推理服务层和训练算力层,并深入解析了AI架构对网络提出的三大核心挑战:跨云互联、逻辑隔离与业务识别、网络可视化与QoS控制。最终提出了一站式网络解决方案,助力AI企业实现多云调度、业务融合承载与精细化流量管理,推动AI服务高效、稳定交付。
|
8月前
|
监控 数据可视化 大数据
Axure设计的“广东省网络信息化大数据平台”数据可视化大屏
本文介绍由Axure设计的“广东省网络信息化大数据平台”数据可视化大屏。大屏分为左中右三区域,共九个模块,涵盖设备占比、数据异常、地市排名、关键指标、地图分布、订单信息等。通过环形图、柱状图、饼图等多种图表形式,将复杂数据直观呈现,助力决策者全面掌握数据动态,推动广东省网络信息化建设发展。
758 135
|
3月前
|
机器学习/深度学习 分布式计算 Java
Java与图神经网络:构建企业级知识图谱与智能推理系统
图神经网络(GNN)作为处理非欧几里得数据的前沿技术,正成为企业知识管理和智能推理的核心引擎。本文深入探讨如何在Java生态中构建基于GNN的知识图谱系统,涵盖从图数据建模、GNN模型集成、分布式图计算到实时推理的全流程。通过具体的代码实现和架构设计,展示如何将先进的图神经网络技术融入传统Java企业应用,为构建下一代智能决策系统提供完整解决方案。
436 0
|
4月前
|
机器学习/深度学习 算法 搜索推荐
从零开始构建图注意力网络:GAT算法原理与数值实现详解
本文详细解析了图注意力网络(GAT)的算法原理和实现过程。GAT通过引入注意力机制解决了图卷积网络(GCN)中所有邻居节点贡献相等的局限性,让模型能够自动学习不同邻居的重要性权重。
904 0
从零开始构建图注意力网络:GAT算法原理与数值实现详解
|
8月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南