利用Node.js如何实现文件循环覆写

前言

这次编写Node.js项目的时候用到了日志模块，其中碰到了一个小问题。

这是一个定时执行可配置自动化任务的项目，所以输出信息会不断增加，也就意味着日志文件会随时间不断增大。如果对日志文件大小不加以控制，那么服务器的磁盘迟早会被撑满。所以限制文件大小是有必要的。

最理想的控制方式就是当文件大小超过限制时，清除最先记录的数据。类似一个FIFO的队列。

# 删除前面的数据- 1 xxx ...... 100 abc# 文件末尾追加数据+ 101 xxxx

log4js的file rolling

一提到记录日志很多Node.js开发者肯定会找到log4js，先来看看log4js是怎么处理这个问题的。

log4js分为很多appenders（可以理解为记录日志的媒介），file rolling功能可以通过函数来进行配置。

file rolling功能有两种方式：日期和文件大小。

要控制文件大小，当然选择后者。

为了测试这个功能是否满足我们要求，写一段循环代码来写日志。

const log4js = require('log4js')// 配置log4jslog4js.configure({ appenders: { everything: { type: 'file', filename: 'a.log', maxLogSize: 1000, backups: 0 }, }, categories: { default: { appenders: ['everything'], level: 'debug' } }});const log = log4js.getLogger();for (let i = 0; i < 41; i++) { const str = i.toString().padStart(6, '000000'); log.debug(str);}

执行之后生成两个文件a.log和a.log.1。

其中a.log.1有20行数据，实际大小1kb，a.log只有1行数据。

虽然确实控制了文件大小，但是会带来两个问题：

推测log4js的实现逻辑可能是下面这样：

这显然不能完全满足需求。

字符串替换？

如果要在内存中完成循环覆写操作就比较简单了，使用字符串或Buffer的即可完成。

但是有一个很大的问题：占用内存。

比如限制文件大小为1GB，有10个日志文件同时写入，那么至少占用10GB内存空间！

内存可是比磁盘空间更宝贵的，如此明显的性能问题，显然也不是最优解决方式。

file roll

按照需求可以把实现步骤拆成两步：