搬家与流式处理

简介:

这两天搬家,身体很劳累,脑子算是没闲着。在把货物搬上楼的过程中,我琢磨了个自认为很高效的方法,本质和流式处理很像。

需求与尝试

一车货物,零零散散打了些包,停在楼下,需要搬到五楼去。劳力有三人。一开始的方案是每个人自己拿几样东西,自管自上楼去,再下楼来拿下一趟。搬了几趟后,有以下一些问题:
1. 搬运过程中,累的不是手臂,而是脚。光爬几次五楼,腿已经先受不了了。
2. 过程中为了方便,楼下车不锁,楼上门不关,这是潜在的一种风险因子。
3. 每个人在车上和楼上分别会花些时间整理货物,前者是为了携带,后者是为了摆放

流式方案

我给出的搬运方案其实也很简单,一个人负责把货物从车上运下来搬到一楼门口,另一个人负责把一楼的货物搬到三楼,另一个人负责把三楼的货物搬到五楼。实践了近二十次,效率比之前高很多,疲劳程度也有所减少。

分析

这个方案里有几个很明显的优势:
1. 一个人专门选择合适(体积和重量)的货物打包,后两人不必整顿零散的包裹
2. 每一个人搬运不超过两层,搬完后走下楼是一段喘息的时机,减缓爬楼梯的疲惫
3. 爬楼梯的人互相可以”照顾”,即爬五楼的如果动作快可以下到二楼去取货,爬三楼的有余力可以把货物放三楼半上让五楼的少走一段
4. 楼下车不用锁,一楼的人在更短时间内可以折返;楼上门不用关,五楼的人在很短时间内可以回去,并花部分时间整顿包裹
5. 有一个人不用爬楼梯,且三人不用走多余的趟次,从下往上顺序结束自己的任务

本质上这种搬运方式就是流水线,每个人各司其职,让每一堆货物从车搬上楼的延时最低,同时,把人看做计算资源的话,爬楼梯和下楼梯是两类处理任务,类似前半段是CPU密集型的,后半段CPU使用率不高,只有一些IO开销,所以人不会感觉太累。

这种方式还有几个别的优势。它有一种类似”背压”的机制:上层的人搬运的快慢可由下层的人感知,从而调节自身的搬运速度,从而影响整体延时。还有一点是计算单元之间存在控制消息:一个人告诉其他人”最后一趟了”或者”这趟好重”,其他人可以对应做出调节。最后一点,三个人的总体能是共享的:像我之前说的,搬得快的人可以为慢的人多分担一些楼梯步数,在每一趟货物的运输过程中互相帮助,整体的资源利用率可以达到比较优。

目录
相关文章
|
8月前
|
SQL 数据采集 数据可视化
需求:公司需要做数据迁移同步,以下是几种常见的ETL工具选型对比
需求:公司需要做数据迁移同步,以下是几种常见的ETL工具选型对比
|
12天前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之怎么避免下载完整数据时发生丢失
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
SQL 分布式计算 数据挖掘
83 网站点击流数据分析案例(ETL)
83 网站点击流数据分析案例(ETL)
31 0
|
11月前
|
数据采集 分布式计算 关系型数据库
大数据数据采集的数据迁移(同步/传输)的Sqoop之下载和配置安装
在大数据领域中,Sqoop是一款非常流行的数据迁移工具。它可以将关系型数据库中的数据快速移动到Hadoop生态系统中,方便我们进行更深入的分析和处理。本文将介绍如何下载和配置安装Sqoop,希望能够为大家提供一些帮助。
183 0
|
存储 SQL Oracle
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!(1)
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!
1823 0
|
存储 SQL JSON
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!(2)
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!
340 0
|
存储 机器学习/深度学习 分布式计算
切记:不要让您的数据湖变成数据沼泽
数据湖的概念已经存在了几年了。它最初引起了一些争议,并被贴上了营销炒作的标签。数据湖这个术语并不是任何传统数据存储体系结构的一部分,因此供应商可以自由地使用它来表示许多不同的东西。
切记:不要让您的数据湖变成数据沼泽
|
数据挖掘 流计算
flink实时计算任务一段时间后没有数据
flink实时计算任务一段时间后没有数据
|
SQL 关系型数据库 MySQL
体验有奖:使用PolarDB-X与Flink搭建实时数据大屏
场景将提供一台配置了CentOS 8.5操作系统的ECS实例(云服务器)。通过本教程的操作带您体验如何使用PolarDB-X与Flink搭建一个实时数据链路,模拟阿里巴巴双十一GMV大屏。
|
存储 数据采集 Web App开发
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 本教程介绍如何使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储 专家支持:阿里云日志服务技术专家 王星宇 唐恺
423 0
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖