分布式计算概述

简介: 分布式计算概述

什么是(数据)计算

一直在提及:分布式计算,分布式暂且不论,“计算是个什么”

狭义上:数学计算:1+1=22*2=4

广义上:内容分析,得到需要的结果

大数据体系内的计算,举例:
销售额统计,区域销售占比,季度销售占比

利润率走势,客单价走势,成本走势

品类分析,消费者分析,店铺分析

品类分析,消费者分析,店铺分析

等等一系列,基于数据得出的结论,这些就是我们所说的计算

 

分布式(数据)计算

分布式计算:顾名思义,即以分布式的形式完成数据的统计,得到需要的结果

 

分散->汇总模式

1.将数据分析,多台服务器各自负责一部分数据

2.然后将各自的结果,进行汇总处理

3.最终得到想要的计算结果

生活中的“人口普查”

就是典型的分散汇总的分布式统计模式

 

中心调度->步骤执行模式

1.由一个节点作为中心调度管理者

2.将任务划分为几个具体步骤

3.管理者安排每个机器执行任务

4.最终得到结果数据

生活中的各类项目的:项目经理和项目成员就是这种模式,一个管理分配任务,其余人员领取任务工作

 

 

目录
相关文章
|
8月前
|
运维 负载均衡 测试技术
分布式基本概念-02
分布式基本概念-02
60 4
|
存储 安全 NoSQL
Seraphdb: 轻量级图计算引擎(一) 概述
随着图技术的不断成熟,与大数据框架的融合也越来越紧密,使得使用图的场景也越来越广泛;安全领域里很多的场景也开始用图的相关技术来解决实际问题;如云安全中心利用图对关联关系的遍历能力,实现了基于进程链的安全检测, 更大程度的检测隐藏在正常操作背后的恶意行文, 为用户的主机保驾护航;同时基于多种数据的关联关系,可以实现安全事件的调查分析、溯源等;基于图来分析解决安全问题更符合现实场景,也更容易被人理解和
722 0
Seraphdb: 轻量级图计算引擎(一) 概述
|
2月前
|
分布式计算 API 数据处理
Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
【2月更文挑战第15天】Flink【基础知识 01】(简介+核心架构+分层API+集群架构+应用场景+特点优势)(一篇即可大概了解flink)
62 1
|
分布式计算 监控 算法
流式计算概述|学习笔记
快速学习流式计算概述
166 0
|
11月前
|
存储 消息中间件 缓存
【Cassandra从入门到放弃系列 一】概述及基本架构
【Cassandra从入门到放弃系列 一】概述及基本架构
218 0
|
11月前
|
传感器
ArduPilot — ArduPlane架构概述
ArduPilot — ArduPlane架构概述
126 0
|
存储 SQL 分布式计算
数据湖架构及概念简介
本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。
2112 0
数据湖架构及概念简介
|
分布式计算 资源调度 监控
MapReduce架构简介
今天来讲MapReduce架构简介
568 0
MapReduce架构简介
|
开发框架 负载均衡 .NET
四、分布式编程概述
四、分布式编程概述
185 0
|
消息中间件 存储 分布式计算
浅谈分布式计算的开发与实现(一)
介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。
2260 0