【Node.js实战】一文带你开发博客项目之日志(文件读写、stream流、写日志)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【Node.js实战】一文带你开发博客项目之日志(文件读写、stream流、写日志)

一、前言

开发日志对整个项目可以起到备忘、记录、总结等作用。以帮助开发或者运维人员快速定位错误位置,提出解决方案。


系统没有日志,就等于人没有眼睛(重要性可见一斑)

第一,访问日志 access log(server 端最重要的日志)

第二,自定义日志(包括自定义事件、错误记录等)

所以,日志的存在还是非常非常有必要的!

日志要放在文件中,可读可写~

  • node.js 文件操作,node.js stream(流 => 提升性能)
  • 日志功能开发和使用
  • 日志文件拆分,日志内容分析

二、文件的读写

1、读取文件

接下来,我们先学习如何进行文件的读取…

创建 file-test 文件夹,文件夹下创建 test1.txt 文件 和 data.txt 文件

test1.txt

进行文件读取操作,读取 data.txt 文本的内容,并进行输出

const fs = require('fs')
const path = require('path')
// 获取文件目录 __dirname 表示当前文件所在目录
const fileName = path.resolve(__dirname, 'data.txt')
// 读取文件内容(异步的)
fs.readFile(fileName, (err, data) => {
    if (err) {
        console.error(err)
        return
    }
    // data 是二进制类型,需要转成字符串类型
    console.log(data.toString())
})

data.txt

这是我们在文本中存储的一些信息

Hello
这里是前端杂货铺
感谢你的观看
Thanks

b22d8fc8636241c8a15870190a299fe0.png

2、写入文件

接下来,我们进行文件的写入操作(分为两种:追加写入和覆盖写入)

test1.js

const fs = require('fs')
const path = require('path')
// 获取文件目录 __dirname 表示当前文件所在目录
const fileName = path.resolve(__dirname, 'data.txt')
// 写入文件
const content = '哇咔咔,这是新写入的内容\n'
// 写入的方式(追加'a'/覆盖'w')
const opt = {
    flag: 'a' // 追加写入用'a',覆盖用 'w'
}
// 写入文件(文件名,内容,方式,错误的回调)
fs.writeFile(fileName, content, opt, err => {
    if (err) {
        console.error(err)
    }
})

终端运行 node test1.js

d9eef46f942641d48701fc5f0f49e99b.png

3、判断文件是否存在

接下来,我们来进行判断文件是否存在的操作

test1.js

const fs = require('fs')
const path = require('path')
// 获取文件目录 __dirname 表示当前文件所在目录
const fileName = path.resolve(__dirname, 'data.txt')
// 判断文件是否存在
fs.exists(fileName, (exist) => {
    console.log('exist', exist)
})

d4e3d6c409614c82a03f0df6b640dce8.png

三、stream 流

1、IO 操作的性能瓶颈

IO 包括 “网络IO” 和 “文件IO”

相比于 CPU 计算和内存读写,IO 的突出特点就是慢!

我们需要在有限的硬件资源下提高 IO 的操作效率!!

那么我们就要使用 stream 流(不是一下子全给,而是通过“小管子”一点点给…)

bdc01fea31bf4db1b71da4b2b2a5a332.png

2、stream 流

在 stream-test 文件夹下创建 test1.js 文件

test1.js

// 标准输入输出
process.stdin.pipe(process.stdout)

279cd9e6a0cd4cdd9812912fccab86a9.png

下面我们监听端口,通过 postman 进行简单测试

test1.js

const http = require('http')
const server = http.createServer((req, res) => {
    if (req.method === 'POST') {
        // 管道连接请求和响应
        req.pipe(res)
    }
})
// 监听的端口 8000
server.listen(8000)

终端 node test1.js 启动它,之后去 postman 进行测试

30f21fdaa1e849d08ab9ce12b91c1e71.png

3、复制文件

我们先创建 stream-test 文件,之后创建文本(原文本和复制的目标文本,之后在 test1.js 中添加一些代码),此时 data.txt 文本有内容,data-bak.txt 文本为空。

ac07a1b2b75242d3a23d0bb4256fcf78.png

data.txt

这里是前端杂货铺
当前目标如下:
把 data.txt 文本里的内容拷贝到 data-bak.txt 中

test1.js

// 复制文件
const fs = require('fs')
const path = require('path')
const fileName1 = path.resolve(__dirname, 'data.txt')
const fileName2 = path.resolve(__dirname, 'data-bak.txt')
// 读取流
const readStream = fs.createReadStream(fileName1)
// 写入流
const writeStream = fs.createWriteStream(fileName2)
// 管道连接
readStream.pipe(writeStream)
// 监听每一次读取的内容
readStream.on('data', chunk => {
    console.log(chunk.toString())
})
// 监听拷贝完成
readStream.on('end', () => {
    console.log('copy done')
})

3712bba6de1c4e148d8079b9859b07c2.png

48387b0127514d5e8bcda1be089d3581.png

4、发起请求读取文件

发送一个 GET 请求,读取文本的内容

test.js

const http = require('http')
const fs = require('fs')
const path = require('path')
const fileName1 = path.resolve(__dirname, 'data.txt')
const server = http.createServer((req, res) => {
    if (req.method === 'GET') {
        const readStream = fs.createReadStream(fileName1)
        // 将 res 作为 stream 的 dest
        readStream.pipe(res)
    }
})
// 监听的端口 8000
server.listen(8000)

终端 node test1.js 运行,之后打开 8000 端口

825d79afef3a40f485e2813dffce7c41.png

四、写日志

我们首先改变一下我们的目录结构(新增如下文件)

logs 里面的文件用来存放写入的日志(创建空文件就好),utils 里面的 log.js 文件用来编写一些写入日志的逻辑

8b206c74ce1a4b1ca7e97ccfd0a8dcbf.png

og.js

首先我们引入所需模块,封装写入流函数,访问我们所需的日志,进行换行写入

// 引入 fs 和 path 模块
const fs = require('fs')
const path = require('path')
// 写日志
function writeLog(writeStream, log) {
    // 关键代码(每写入一行日志换行一次)
    writeStream.write(log + '\n')
}
// 生成 write Stream(第二个水桶)
function createWriteStream(fileName) {
    // 找到文件名
    const fullFileName = path.join(__dirname, '../', '../', 'logs', fileName)
    // 创建写入流(追加的方式)
    const writeStream = fs.createWriteStream(fullFileName, {
        flags: 'a'
    })
    // 返回写入的内容
    return writeStream
}
// 写访问日志
const accessWriteStream = createWriteStream('access.log')
// 参数 log 为 app.js 中传入的内容
function access(log) {
    writeLog(accessWriteStream, log)
}
module.exports = {
    access
}

之后更改 app.js 文件,调用 access 函数

app.js

我们先导入 access 进来,之后进行调用,传进所需的参数,用来记录 access log

const { access } = require('./src/utils/log')
...
const serverHandle = (req, res) => {
    // 记录 access log
    access(`${req.method} -- ${req.url} -- ${req.headers['user-agent']} -- ${Date.now()}`)
    ......
}

之后,我们打开 http://localhost:8000/api/blog/list 端口,进行三次刷新,查看 access.log 文件中日志的写入

13a49efb1f574789997efbc4341b34e4.png

五、写在最后

至此,我们明白了 如何进行文件读写,了解了 stream流 的原理及其基本使用,以及如何写日志。 继续跟进学习吧!


后续会对该项目进行多次重构【多种框架(express,koa)和数据库(mysql,sequelize,mongodb)】


如果你需要该项目的 源码,请通过本篇文章最下面的方式 加入 进来~~

45fc82a82c6542bdb2ff4986377d8db3.png

相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
相关文章
|
9天前
|
JSON JavaScript 前端开发
若依修改,若依如何发送get和post请求,发送数据请求的写法,若依请求的API在src的api文件下,建立请求的第一步,在API中新建一个文件,第二步新建JavaScript文件
若依修改,若依如何发送get和post请求,发送数据请求的写法,若依请求的API在src的api文件下,建立请求的第一步,在API中新建一个文件,第二步新建JavaScript文件
|
7天前
|
JavaScript Java 测试技术
基于springboot+vue.js+uniapp的博客系统附带文章源码部署视频讲解等
基于springboot+vue.js+uniapp的博客系统附带文章源码部署视频讲解等
8 0
|
9天前
|
JavaScript
JS【实战】跨域的网页链接跳转
JS【实战】跨域的网页链接跳转
6 0
|
9天前
|
NoSQL 前端开发 测试技术
若依修改,若依如何发送请求---王清江07,axios的请求在request.js文件中,若依发送GET请求,必须用param
若依修改,若依如何发送请求---王清江07,axios的请求在request.js文件中,若依发送GET请求,必须用param
若依修改-------控制若依重定向的路径,控制路径重定向的写法路径在,在permission.js文件中控制重定向
若依修改-------控制若依重定向的路径,控制路径重定向的写法路径在,在permission.js文件中控制重定向
|
9天前
|
前端开发 JavaScript
js【详解】Promise(含 Promise 的三种状态及其变化,创建 Promise, Promise.all 语法、Promise.all 实战范例、手写 Promise.all)
js【详解】Promise(含 Promise 的三种状态及其变化,创建 Promise, Promise.all 语法、Promise.all 实战范例、手写 Promise.all)
22 0
|
10天前
|
前端开发 NoSQL JavaScript
若依修改---重新部署项目注意事项,新文件初始化需要修改的地方,打包后的文件很难进行修改,如果想要不断修改项目,注意保存原项目,才可以不断修改,前端:在Vue.config.js文件中修改target
若依修改---重新部署项目注意事项,新文件初始化需要修改的地方,打包后的文件很难进行修改,如果想要不断修改项目,注意保存原项目,才可以不断修改,前端:在Vue.config.js文件中修改target
|
10天前
|
前端开发 JavaScript Linux
若依修改之后,无法访问前端项目如何解决,只能访问后端的接口,我的接口8083,端不显示咋解决?在vue.config.js文件中的映射路径要跟后端匹配,到软件商店里找到Ngnix配置代理,设80不用加
若依修改之后,无法访问前端项目如何解决,只能访问后端的接口,我的接口8083,端不显示咋解决?在vue.config.js文件中的映射路径要跟后端匹配,到软件商店里找到Ngnix配置代理,设80不用加
|
1月前
|
前端开发
windows10 安装node npm 等前端环境 并配置国内源
windows10 安装node npm 等前端环境 并配置国内源
55 3
|
7天前
|
Web App开发 JavaScript 前端开发
Node.js介绍 , 安装与使用
【7月更文挑战第6天】Node.js介绍 , 安装与使用
20 5