【Node系列】node中的流(Stream)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: Node.js 中的流(Stream)是一种处理数据的方式,它允许你以流的方式处理数据,而不是一次性加载整个数据集。这种方式对于处理大量数据非常有用,因为它可以减少内存的使用并提高性能。

一、流(Stream)

Node.js 中的流(Stream)是一种处理数据的方式,它允许你以流的方式处理数据,而不是一次性加载整个数据集。这种方式对于处理大量数据非常有用,因为它可以减少内存的使用并提高性能。

Node.js 提供了几种不同类型的流,包括:

  1. 可读流(Readable Stream):用于从数据源读取数据。例如,当你想从一个文件或网络连接中读取数据时,可以使用可读流。
  2. 可写流(Writable Stream):用于将数据写入目标。例如,当你想将数据写入文件或网络连接时,可以使用可写流。
  3. 双向流(Duplex Stream):同时具有可读和可写的能力。例如,net.Socketfs.ReadStream 都是双向流。
  4. Transform 流:在读取和写入过程中对数据进行转换。例如,zlib 模块提供了压缩和解压缩的 Transform 流。

使用 Node.js 流的基本步骤如下:

  1. 创建一个流对象(例如,使用 fs.createReadStream()fs.createWriteStream())。
  2. 监听 'data' 事件来接收从流中读取的数据。
  3. 监听 'end' 事件来知道何时数据已经读取完毕。
  4. 监听 'error' 事件来处理可能发生的错误。

二、四种基本流的案例

Node.js 中有四种不同类型的流:可读流(Readable Stream)、可写流(Writable Stream)、双向流(Duplex Stream)和转换流(Transform Stream)。

  1. 可读流(Readable Stream):这种类型的流主要用于从数据源读取数据。当数据准备好后,可以通过监听 'data' 事件来获取数据。当没有数据可读时,可以通过监听 'end' 事件来知道何时数据已经读取完毕。

案例:从文件读取数据

const fs = require('fs');

const readStream = fs.createReadStream('input.txt');

readStream.on('data', (chunk) => {
   
  console.log(`Received ${
     chunk.length} bytes of data.`);
});

readStream.on('end', () => {
   
  console.log('No more data.');
});
  1. 可写流(Writable Stream):这种类型的流主要用于将数据写入目标。可以通过监听 'drain' 事件来知道何时可以继续写入数据。当写入过程中发生错误时,可以通过监听 'error' 事件来处理错误。

案例:将数据写入文件

const fs = require('fs');

const writeStream = fs.createWriteStream('output.txt');

writeStream.write('Hello, World!');
writeStream.end();
  1. 双向流(Duplex Stream):这种类型的流同时具有可读和可写的能力。例如,net.Socketfs.ReadStream 都是双向流。双向流可以同时处理数据的读取和写入。

案例:通过 net 模块创建一个 TCP 服务器,并使用双向流处理客户端的连接和数据传输。

const net = require('net');

const server = net.createServer((socket) => {
   
  socket.write('Hello, client!');
  socket.end();
});

server.listen(8000);
  1. 转换流(Transform Stream):在读取和写入过程中对数据进行转换。例如,zlib 模块提供了压缩和解压缩的 Transform 流。可以通过在 'data' 事件回调中返回一个对象来转换数据,并使用 'push' 方法将结果推回流中。当没有更多数据可以读取或写入时,可以通过监听 'end' 或 'finish' 事件来知道何时结束转换。
const fs = require('fs');  
const zlib = require('zlib');  

// 创建一个可读流  
const readableStream = fs.createReadStream('input.txt');  

// 创建一个转换流,用于压缩数据  
const transformStream = zlib.createGzip();  

// 创建一个可写流,用于将压缩后的数据写入文件  
const writableStream = fs.createWriteStream('output.gz');  

// 将可读流、转换流和可写流连接起来  
readableStream.pipe(transformStream).pipe(writableStream);

三、组合流:管道流(Pipeline Stream)

管道流(Pipeline Stream)是一种特殊的流操作,它通过将多个流连接在一起,实现数据的连续处理和传输。在 Node.js 中,可以通过将多个流连接在一起,形成一个管道流,以便将数据从一个流中传递到另一个流中。

管道流通常用于将数据从一个操作转换到另一个操作,例如从读取文件到压缩数据,或者从解压缩数据到写入文件。通过将多个流连接在一起,可以轻松地处理数据的读取、转换和写入操作。

案例:读取文件、压缩数据和写入文件

const fs = require('fs');
const zlib = require('zlib');

// 创建一个可读流,用于读取文件
const readableStream = fs.createReadStream('input.txt');

// 创建一个转换流,用于压缩数据
const transformStream = zlib.createGzip();

// 创建一个可写流,用于将压缩后的数据写入文件
const writableStream = fs.createWriteStream('output.gz');

// 将可读流、转换流和可写流连接起来,形成一个管道流
readableStream.pipe(transformStream).pipe(writableStream);

在这个例子中,我们首先创建了一个可读流,用于读取名为 input.txt 的文件。然后,我们创建了一个转换流,使用 Gzip 算法对数据进行压缩。接下来,我们创建了一个可写流,用于将压缩后的数据写入名为 output.gz 的文件中。最后,我们将可读流、转换流和可写流连接起来,形成一个管道流。当程序运行时,它将读取 input.txt 文件中的内容,使用 Gzip 算法进行压缩,并将压缩后的数据写入 output.gz 文件中。

四、组合流:链式流(Chaining Stream)

链式流(Chaining Stream)是一种通过连接多个流操作来处理数据的机制。在 Node.js 中,可以通过将多个流连接在一起,形成一个链式流,以便将数据从一个流传递到另一个流。

链式流通常用于将多个操作串联起来,例如从读取文件到压缩数据,再到写入文件。通过将多个流连接在一起,可以轻松地处理数据的读取、转换和写入操作。

案例:读取文件、压缩数据和写入文件

const fs = require('fs');
const zlib = require('zlib');

// 创建一个可读流
const readableStream = fs.createReadStream('input.txt');

// 创建一个转换流,用于压缩数据
const transformStream = zlib.createGzip();

// 创建一个可写流,用于将压缩后的数据写入文件
const writableStream = fs.createWriteStream('output.gz');

// 将可读流和转换流连接起来,形成一个链式流
readableStream.pipe(transformStream);

// 将链式流的输出连接到可写流中
transformStream.pipe(writableStream);

在这个例子中,我们首先创建了一个可读流,用于读取名为 input.txt 的文件。然后,我们创建了一个转换流,使用 Gzip 算法对数据进行压缩。接下来,我们创建了一个可写流,用于将压缩后的数据写入名为 output.gz 的文件中。最后,我们将可读流和转换流连接起来,形成一个链式流。然后,我们将链式流的输出连接到可写流中。当程序运行时,它将读取 input.txt 文件中的内容,使用 Gzip 算法进行压缩,并将压缩后的数据写入 output.gz 文件中。

五、热门文章

  1. 【Node系列】连接数据库
  2. 【Node系列】模块系统
  3. 【Node系列】Node全局对象
  4. 【Node系列】node工具模块
  5. 【Node系列】Buffer详解
  6. 【Node系列】node核心模块util
  7. 【Node系列】常用工具介绍
  8. 【Node系列】EventEmitter详解
相关文章
|
11天前
|
消息中间件 Web App开发 JavaScript
Node.js【简介、安装、运行 Node.js 脚本、事件循环、ES6 作业队列、Buffer(缓冲区)、Stream(流)】(一)-全面详解(学习总结---从入门到深化)
Node.js【简介、安装、运行 Node.js 脚本、事件循环、ES6 作业队列、Buffer(缓冲区)、Stream(流)】(一)-全面详解(学习总结---从入门到深化)
88 0
|
11天前
|
JavaScript 前端开发 API
Node.js【简介、安装、运行 Node.js 脚本、事件循环、ES6 作业队列、Buffer(缓冲区)、Stream(流)】(一)-全面详解(学习总结---从入门到深化)(下)
Node.js【简介、安装、运行 Node.js 脚本、事件循环、ES6 作业队列、Buffer(缓冲区)、Stream(流)】(一)-全面详解(学习总结---从入门到深化)
39 0
|
11天前
|
消息中间件 Web App开发 JavaScript
Node.js【简介、安装、运行 Node.js 脚本、事件循环、ES6 作业队列、Buffer(缓冲区)、Stream(流)】(一)-全面详解(学习总结---从入门到深化)(上)
Node.js【简介、安装、运行 Node.js 脚本、事件循环、ES6 作业队列、Buffer(缓冲区)、Stream(流)】(一)-全面详解(学习总结---从入门到深化)
46 0
|
11天前
|
JavaScript 网络协议 数据处理
Node.js中的Buffer与Stream:深入解析与使用
【4月更文挑战第30天】本文深入解析了Node.js中的Buffer和Stream。Buffer是处理原始数据的全局对象,适用于TCP流和文件I/O,其大小在V8堆外分配。创建Buffer可通过`alloc`和`from`方法,它提供了读写、切片和转换等操作。Stream是处理流式数据的抽象接口,分为可读、可写、双工和转换四种类型,常用于处理大量数据而无需一次性加载到内存。通过监听事件和调用方法,如读取文件的可读流示例,可以实现高效的数据处理。理解和掌握Buffer及Stream能提升Node.js应用的性能。
|
11天前
|
JavaScript 大数据 数据处理
什么是Node.js的流(stream)?它们有什么作用?
什么是Node.js的流(stream)?它们有什么作用?
64 3
|
11天前
|
存储 JavaScript 网络协议
什么是Node.js Stream(流)?
什么是Node.js Stream(流)?
53 0
|
7月前
|
JavaScript API
使用 Node.js Stream API 减少服务器端内存消耗的一个具体例子
使用 Node.js Stream API 减少服务器端内存消耗的一个具体例子
65 0
|
7月前
|
JavaScript 网络协议 前端开发
关于 Node.js Stream API 的用法概述
关于 Node.js Stream API 的用法概述
36 0
|
11月前
|
存储 运维 JavaScript
【Node.js实战】一文带你开发博客项目之日志(文件读写、stream流、写日志)
【Node.js实战】一文带你开发博客项目之日志(文件读写、stream流、写日志)
184 3
|
缓存 JSON JavaScript
Node【三】Buffer 与 Stream
Node【三】Buffer 与 Stream
118 0