记一次pm2日志文件过大引起的服务器问题

·  阅读 3244

1. 发现问题

发现网址登录不上,接口调用失败,超时
再登录MySQL,发现也登不上
只能登录阿里云了,结果发现磁盘满了,当时我就惊奇了,什么都没装怎么会满磁盘。。。

输入以下指令查看当前磁盘容量

df -h
复制代码

2. 定位大容量磁盘位置

这个时候得查看大容量文件夹,定位是什么出了问题

输入以下指令

du -h --max-depth=1
复制代码

所以,为什么root文件夹会这么大明明就没有东西里面?

可能是隐藏文件夹吧,进入root文件夹,继续输入指令查看

这么多配置文件夹。。。

原来是PM2的问题,那PM2为什么会占用这么大的容量!!!

3. 解决pm2文件过大

3-1. 查找问题原因

接着上谷歌搜了一下,可能是日志文件占用的磁盘容量,那我就尝试清除日志文件,看能否解决问题

3-2. 清除PM2日志文件

通过指令关闭PM2,我的node进程id是0

  1. 输入指令,关闭node进程
pm2 stop 0
复制代码

如果PM2内有多个进程,则需要输入以下指令关闭所有的进程

pm2 stop all
复制代码
  1. 输入指令,删除PM2的日志
pm2 flush
复制代码

3. 接着再查看容量服务器的容量

可以看到,一下子少了35个G,果然就是pm2日志的问题

4. 永久解决日志文件过大

这次问题是解决了,但是总不能每周或者每月检查一次日志,看看是不是过大了再手动删除。。。

果断在谷歌搜了一下PM2 日志相关的内容,果然搜到了日志管理用的插件pm2-logrotate

4-1. 安装插件pm2-logrotate

输入指令

pm2 install pm2-logrotate
复制代码

等待安装完成

4-2. pm2-logrotate具体配置参数:

配置项 简介
Compress 是否通过gzip压缩日志
max_size 单个日志文件的大小,比如上图中设置为1K(这个其实太小了,实际文件大小并不会严格分为1K)
retain 保留的日志文件个数,比如设置为10,那么在日志文件达到10个后会将最早的日志文件删除掉
dateFormat 日志文件名中的日期格式,默认是YYYY-MM-DD_HH-mm-ss,注意是设置的日志名+这个格式,如设置的日志名为abc.log,那就会生成abc_YYYY-MM-DD_HH-mm-ss.log名字的日志文件
rotateModule 把pm2本身的日志也进行分割
workerInterval 设置启动几个工作进程监控日志尺寸,最小为1
rotateInterval 设置强制分割,默认值是0 0 * * *,意思是每天晚上0点分割,这个足够了个人觉得

4-3. 设置pm2-logrotat

这里我们设置,当日志文件数量超过50个时候,就自动删除旧文件

pm2 set pm2-logrotate:retain 50
复制代码

设置完成后的样子,我们看到retain由默认的30改成了50

当然,如果想后面直接看配置,也可以通过指令pm2 conf pm2-logrotate来查看详细的配置。

5. 设置pm2开机自启动

pm2 startup,这个命令会在系统 /etc/systemd/system/ 路径下生成一个 pm2-root.service 文件用来开机启动 pm2 服务。

pm2 save, 保存当前 pm2 运行的各个应用保存到 /root/.pm2/dump.pm2 下,开机重启时读取该文件中的内容启动相关应用。

6. 结语

后来想了下,可能是用的node中定时器的包node-schedule,主要这次没看PM2的log日志内容,就把文件给删除了,也不没能定位到底是不是这个原因,等过一个月再确认一下

使用这个包的话,可以看我的这篇文章 从零开始在NodeJs中使用node-schedule增加定时任务

参考资料

服务器——拯救你的磁盘及时删除pm2运行时的日志

pm2日志管理pm2-logrotate介绍

控制pm2的日志文件大小

使用PM2来部署nodejs项目

进程管理器pm2运维小结

分类:
前端
标签:
分类:
前端
标签: