搬家与流式处理

简介:

这两天搬家,身体很劳累,脑子算是没闲着。在把货物搬上楼的过程中,我琢磨了个自认为很高效的方法,本质和流式处理很像。

需求与尝试

一车货物,零零散散打了些包,停在楼下,需要搬到五楼去。劳力有三人。一开始的方案是每个人自己拿几样东西,自管自上楼去,再下楼来拿下一趟。搬了几趟后,有以下一些问题:
1. 搬运过程中,累的不是手臂,而是脚。光爬几次五楼,腿已经先受不了了。
2. 过程中为了方便,楼下车不锁,楼上门不关,这是潜在的一种风险因子。
3. 每个人在车上和楼上分别会花些时间整理货物,前者是为了携带,后者是为了摆放

流式方案

我给出的搬运方案其实也很简单,一个人负责把货物从车上运下来搬到一楼门口,另一个人负责把一楼的货物搬到三楼,另一个人负责把三楼的货物搬到五楼。实践了近二十次,效率比之前高很多,疲劳程度也有所减少。

分析

这个方案里有几个很明显的优势:
1. 一个人专门选择合适(体积和重量)的货物打包,后两人不必整顿零散的包裹
2. 每一个人搬运不超过两层,搬完后走下楼是一段喘息的时机,减缓爬楼梯的疲惫
3. 爬楼梯的人互相可以”照顾”,即爬五楼的如果动作快可以下到二楼去取货,爬三楼的有余力可以把货物放三楼半上让五楼的少走一段
4. 楼下车不用锁,一楼的人在更短时间内可以折返;楼上门不用关,五楼的人在很短时间内可以回去,并花部分时间整顿包裹
5. 有一个人不用爬楼梯,且三人不用走多余的趟次,从下往上顺序结束自己的任务

本质上这种搬运方式就是流水线,每个人各司其职,让每一堆货物从车搬上楼的延时最低,同时,把人看做计算资源的话,爬楼梯和下楼梯是两类处理任务,类似前半段是CPU密集型的,后半段CPU使用率不高,只有一些IO开销,所以人不会感觉太累。

这种方式还有几个别的优势。它有一种类似”背压”的机制:上层的人搬运的快慢可由下层的人感知,从而调节自身的搬运速度,从而影响整体延时。还有一点是计算单元之间存在控制消息:一个人告诉其他人”最后一趟了”或者”这趟好重”,其他人可以对应做出调节。最后一点,三个人的总体能是共享的:像我之前说的,搬得快的人可以为慢的人多分担一些楼梯步数,在每一趟货物的运输过程中互相帮助,整体的资源利用率可以达到比较优。

目录
相关文章
|
8月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之读取增量数据但未能成功时,原因是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8月前
|
存储 关系型数据库 MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具,旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统,包括关系型数据库、NoSQL 数据库、Hadoop 等。 DataX 提供了丰富的数据读写插件,可以轻松地将数据从一个数据源抽取出来,并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构,以适应各种复杂的数据同步需求。
|
5月前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之怎么获取离线任务的传输数据量
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
5月前
|
DataWorks 关系型数据库 MySQL
DataWorks实时数据导入:如何实现源源不断的数据流?
【8月更文挑战第22天】在数据处理领域,高效实时传输至关重要。阿里云DataWorks提供全面的数据集成服务,支持多种数据导入方式,尤其实时导入功能因高效处理能力备受欢迎。通过创建数据源与数据集,并配置实时同步任务,可实现数据从MySQL等源到DataWorks数据仓库的快速准确流入。此流程不仅提升了数据处理效率,也确保了数据实时性和准确性,为企业决策提供强有力的支持。
87 1
|
6月前
|
运维 数据格式
实时数据同步的守护者:脏数据下载查看功能重磅上线
在复杂的数据同步过程中,难免会因为各种原因产生一些不准确、不完整或格式错误的脏数据。如果不能及时识别和处理这些脏数据,将可能影响数据的一致性和后续的业务分析。
|
6月前
|
分布式计算 DataWorks NoSQL
DataWorks产品使用合集之怎么离线同步MongoDB的增量数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
7月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用问题之整库实时需要申请什么东西
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7月前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用合集之离线同步到实时同步表时,数据应该如何处理
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7月前
|
SQL DataWorks 安全
DataWorks产品使用合集之实时同步功是否可以支持增量同步数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
44 0
|
7月前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用问题之整库批量实时同步是什么意思
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

热门文章

最新文章