最近一直在开发node相关的项目，做了一段时间了，项目已经让大家正常使用上了，但是日志系统一直没有接入，所以经过查阅与平衡复杂度，决定使用koa-log4进行日志的管理。关于 log4js 的介绍在这里就不多叙述了，想了解请点击 log4js详细介绍
说到数据持久化，最普遍的无非就两种方式:
- 文件存储(导出.log文件)
- 数据库存储(基础的增加功能)
本文将以log4js为主线，以文件存储形式 并且与运维配合 通过logstash上传ELK到Kibana查询的方式实现的。
持久化至文件
log4js 输入日志到文件有两种形式:
- file 输出到文件, 指定单一文件名称, 例如: default.log
- dateFile 输出到文件，文件可以按日期模式滚动，例如: 2021-12-03.log
直接上代码:
// log4js.js
import log4js from 'koa-log4'
import path from 'path'
log4js.configure({
appenders: {
error: {
type: 'file', //日志类型
category: 'errLogger', //日志名称
filename: path.join('logs/', 'error/error.log'), //日志输出位置，当目录文件或文件夹不存在时自动创建
maxLogSize: 104800, // 文件最大存储空间
backups: 100 //当文件内容超过文件存储空间时，备份文件的数量
},
response: {
type: 'dateFile',
category: 'resLogger',
filename: path.join('logs/', 'responses/'),
pattern: 'yyyy-MM-dd.log', //日志输出模式
alwaysIncludePattern: true,
maxLogSize: 104800,
backups: 100
}
},
categories: {
error: {appenders: ['error'], level: 'info'},
response: {appenders: ['response'], level: 'info'},
default: { appenders: ['response'], level: 'info'}
},
replaceConsole: true
})
日志配置文件我们已经完成，在这里定义了两种形式的日志，分别是 errLogger 错误日志, resLogger 响应日志。 接下来我们将这两种日志进行自定义格式化输出:
// log4js.js
let logger = {}
const formatError = (ctx, err) => {
const {method,url} = ctx
let body = ctx.request.body
const user = ctx.state.user
return {method, url,body,user, err}
}
const formatRes = (ctx,costTime) => {
const {method,url,response:{status,message,body:{success}},request:{header:{authorization}}} = ctx
let body = ctx.request.body
const user = ctx.state.user
return {method, url,user, body, costTime,authorization, response:{status,message,body:{success}}}
}
let errorLogger = log4js.getLogger('error')
let resLogger = log4js.getLogger('response')
// 封装错误日志
logger.errLogger = (ctx, error) => {
if(ctx && error) {
errorLogger.error(formatError(ctx, error))
}
}
// 封装响应日志
logger.resLogger = (ctx, resTime) => {
if(ctx) {
resLogger.info(formatRes(ctx, resTime))
}
}
export default logger
在我们的应用中使用我们自定义的日志模型
//app.js
import log4js from './utils/log4js'
// logger
app.use(async (ctx, next) => {
const start = new Date()
await next()
const ms = new Date() - start
console.log(`${ctx.method} ${ctx.url} - ${ms}ms`)
log4js.resLogger(ctx, ms)
})
// error-handling
app.on('error', (err, ctx) => {
log4js.errLogger(ctx, err)
console.error('server error', err)
})
此时我们的访问信息都已被输出到了项目 logs 文件夹下面。
集群模式PM2 Log4js log写入失败问题
正常情况下，使用PM2持久化进程输出日志是完全的，但是一旦使用 集群模式("instances" : number)下时，就出现写不入日志的情况
！！！ 每次重启PM2时，需要先delete任务，然后再重新启动
正常直接启动会在配置 log 目录下生成一个yyyy-MM-dd-hh.log格式的文件，但是用pm2启动的时候并没有生成。
log4js 的调用方法为require('log4js').getLogger(),所以就直接在源码中找getLogger：
- 通过package.json中的main我们确定它的主入口文件为./lib/log4js；
- 找到getLogger方法
其中有个isMaster()方法,判断是否为主进程
function isPM2Master() {
return config.pm2 && process.env[config.pm2InstanceVar] === '0'
}
function isMaster() {
return config.disableClustering || cluster.isMaster || isPM2Master()
}
可以看到isPM2Master是通过 config 中的pm2参数和pm2InstanceVar来确定的。所以我们需要在log4js的配置中增加这两个配置。
log4js 的写策略正是如此，但默认只适用于 node 原生的 cluster 模式，然而通过 pm2 启动的进程都是 worker。
官方提供的方案是安装 pm2-intercom，并在代码配置 log4js 时打开 pm2: true 选项，其原理也是选出一个负责写文件的主进程。
//process-dev.json
{
"apps": [
{
"name": "buran-api-dev",
"script": "index.js",
"watch": true,
"cwd":"./",
"ignore_watch" : ["jobs/*","node_modules/*","public"],
"instances" : 4,
"instance_var": "INSTANCE_ID", !!这里!！
"exec_mode" : "cluster",
"merge_logs": true,
"autorestart": true,
"log_date_format": "YYYY-MM-DD HH:mm:ss",
"env": {
"NODE_ENV": "production"
}
}
]
}
//log4js.js
log4js.configure({
pm2: true,
pm2InstanceVar: "INSTANCE_ID", // 与pm2的instance_var对应
})
接下来就完全ok了。 剩下的就交给运维同学，告诉他日志生成的目录，他来进行监听上传
