开发者社区> 姚飞亮> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Node.js之Stream

简介: Node.js之Stream
+关注继续查看

Node.js之Stream

对于大部分有后端经验的的同学来说 Stream 对象是个再合理而常见的对象,但对于前端同学 Stream 并不是那么理所当然,github 上甚至有一篇 9000 多 Star 的文章介绍到底什么是 Stream —— stream-handbook。为了更好的理解 Stream,在这篇文章的基础上简单总结概括一下。

什么是 Stream

在 Unix 系统中流就是一个很常见也很重要的概念,从术语上讲流是对输入输出设备的抽象。

ls | grep *.js

类似这样的代码我们在写脚本的时候经常可以遇到,使用 | 连接两条命令,把前一个命令的结果作为后一个命令的参数传入,这样数据像是水流在管道中传递,每个命令类似一个处理器,对数据做一些加工,因此 | 被称为 “管道符号”。

NodeJS 中 Stream 的几种类型

从程序角度而言流是有方向的数据,按照流动方向可以分为三种流

设备流向程序:readable
程序流向设备:writable

双向:duplex、transform

NodeJS 关于流的操作被封装到了 Stream 模块,这个模块也被多个核心模块所引用。按照 Unix 的哲学:一切皆文件,在 NodeJS 中对文件的处理多数使用流来完成

普通文件

设备文件(stdin、stdout)
网络文件(http、net)

有一个很容易忽略的知识点:在 NodeJS 中所有的 Stream 都是 EventEmitter 的实例。

小例子

我们写程序忽然需要读取某个配置文件 config.json,这时候简单分析一下

数据:config.json 的内容

方向:设备(物理磁盘文件) -> NodeJS 程序

我们应该使用 readable 流来做此事

const fs = require('fs');
const FILEPATH = '...';

const rs = fs.createReadStream(FILEPATH);

通过 fs 模块提供的 createReadStream() 方法我们轻松的创建了一个可读的流,这时候 config.json 的内容从设备流向程序。我们并没有直接使用 Stream 模块,因为 fs 内部已经引用了 Stream 模块,并做了封装。

有了数据后我们需要处理,比如需要写到某个路径 DEST ,这时候我们遍需要一个 writable 的流,让数据从程序流向设备。

const ws = fs.createWriteStream(DEST);

两种流都有了,也就是两个数据加工器,那么我们如何通过类似 Unix 的管道符号 | 来链接流呢?在 NodeJS 中管道符号就是 pipe() 方法。

const fs = require('fs');
const FILEPATH = '...';

const rs = fs.createReadStream(FILEPATH);
const ws = fs.createWriteStream(DEST);

rs.pipe(ws);

这样我们利用流实现了简单的文件复制功能,关于 pipe() 方法的实现原理后面会提到,但有个值得注意地方:数据必须是从上游 pipe 到下游,也就是从一个 readable 流 pipe 到 writable 流。

加工一下数据

上面提到了 readable 和 writable 的流,我们称之为加工器,其实并不太恰当,因为我们并没有加工什么,只是读取数据,然后存储数据。

如果有个需求,把本地一个 package.json 文件中的所有字母都改为小写,并保存到同目录下的 package-lower.json 文件下。

这时候我们就需要用到双向的流了,假定我们有一个专门处理字符转小写的流 lower,那么代码写出来大概是这样的

const fs = require('fs');

const rs = fs.createReadStream('./package.json');
const ws = fs.createWriteStream('./package-lower.json');

rs.pipe(lower).pipe(ws);

这时候我们可以看出为什么称 pipe() 连接的流为加工器了,根据上面说的,必须从一个 readable 流 pipe 到 writable 流:

rs -> lower:lower 在下游,所以 lower 需要是个 writable 流

lower -> ws:相对而言,lower 又在上游,所以 lower 需要是个 readable 流

有点推理的赶脚呢,能够满足我们需求的 lower 必须是双向的流,具体使用 duplex 还是 transform 后面我们会提到。

当然如果我们还有额外一些处理动作,比如字母还需要转成 ASCII 码,假定有一个流 ascii 那么我们代码可能是

rs.pipe(lower).pipe(acsii).pipe(ws);

同样 ascii 也必须是双向的流。这样处理的逻辑是非常清晰的,那么除了代码清晰,使用流还有什么好处呢?

为什么应该使用 Stream

有个用户需要在线看视频的场景,假定我们通过 HTTP 请求返回给用户电影内容,那么代码可能写成这样

const http = require('http');
const fs = require('fs');

http.createServer((req, res) => {
   fs.readFile(moviePath, (err, data) => {
      res.end(data);
   });
}).listen(8080);

这样的代码又两个明显的问题

电影文件需要读完之后才能返回给客户,等待时间超长

电影文件需要一次放入内存中,相似动作多了,内存吃不消

用流可以讲电影文件一点点的放入内存中,然后一点点的返回给客户(利用了 HTTP 协议的 Transfer-Encoding: chunked 分段传输特性),用户体验得到优化,同时对内存的开销明显下降

const http = require('http');
const fs = require('fs');
http.createServer((req, res) => {
   fs.createReadStream(moviePath).pipe(res);
}).listen(8080);

除了上述好处,代码优雅了很多,拓展也比较简单。比如需要对视频内容压缩,我们可以引入一个专门做此事的流,这个流不用关心其它部分做了什么,只要是接入管道中就可以了

const http = require('http');

const fs = require('fs');

const oppressor = require(oppressor);

http.createServer((req, res) => {

   fs.createReadStream(moviePath)

      .pipe(oppressor)

      .pipe(res);

}).listen(8080);

可以看出来,使用流后,我们的代码逻辑变得相对独立,可维护性也会有一定的改善,关于几种流的具体使用方式且听下回分解。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Node.js Stream - 进阶篇
上篇(基础篇)主要介绍了Stream的基本概念和用法,本篇将深入剖析背后工作原理,重点是如何实现流式数据处理和 back pressure 机制。 目录 本篇介绍 stream 是如何实现流式数据处理的。 数据生产和消耗的媒介 为什么使用流取数据 下面是一个读取文件内容的例子: const fs = require('fs') fs.readFile(f
1444 0
使用 Node.js Express 的最佳实践
Production best practices: performance and reliability 本文讨论部署到生产的 Express 应用程序的性能和可靠性最佳实践。 这个话题显然属于“devops”世界,涵盖传统的开发和运营。 因此,信息分为两部分
58 0
使用 Node.js Express 的最佳实践
使用 Node.js Express 的最佳实践
63 0
Node.js Express 框架2
文件上传 以下我们创建一个用于上传文件的表单,使用 POST 方法,表单 enctype 属性设置为 multipart/form-data。 index.html 文件上传表单 文件上传: 选择一个文件上传:    server.
1196 0
Node.js Express 框架
Express 简介 Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用,和丰富的 HTTP 工具。 使用 Express 可以快速地搭建一个完整功能的网站。
1593 0
node.js学习笔记(25) express与数据库
mysql模块是一个node.js的mysql数据库驱动,纯javascript编写,无需编译。Node-orm是一个node.js的object-relational-mapping框架,能支持mysql、mariadb、postgresql、sqlite、mongodb等数据库。
10709 0
node.js 安装配置 npm ,express,ejs模板
本人近端时间看了下node.js,学习是从菜鸟教程   http://www.runoob.com/nodejs/nodejs-tutorial.html 入门。 首先讲一下体会,首先自己是个java程序员,刚接触node.js,有点新鲜就去学了,首先是安装windows版的node.js。如果不熟悉环境配置,要选择msi格式的,因为安装的过程中会把环境变量给你配好。好了安装好以后,要安
3485 0
+关注
姚飞亮
莫名其妙的,敲起了代码!
18
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载