搭建ELK 日志收集系统
ELK(Elasticsearch,Logstash,Kibana),在springboot等项目中常用来收集日志还有进行日志分析,最后通过可视化UI进行展示。在大量日志产生的项目场景中,ELK是收集、分析日志的利器
一、 Elasticsearch安装
环境准备 系统: Centos8 防火墙: 关闭 Sellinux: 关闭 JDK 1.8(备注至少是1.8版本的JDK)
image.png
1、下载
[elk@localhost elasticsearch]$ pwd
/usr/local/src/elasticsearch
[elk@localhost elasticsearch]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz
--2018-10-05 23:26:43-- https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.2.tar.gz
Resolving artifacts.elastic.co (artifacts.elastic.co)... 54.225.221.128, 54.225.214.74, 184.73.245.233, ...
Connecting to artifacts.elastic.co (artifacts.elastic.co)|54.225.221.128|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 97914519 (93M) [application/x-gzip]
Saving to: ‘elasticsearch-6.4.2.tar.gz’
100%[====================================================================================================================================================================================================================================>] 97,914,519 2.55MB/s in 24s
2018-10-05 23:27:09 (3.84 MB/s) - ‘elasticsearch-6.4.2.tar.gz’ saved [97914519/97914519]
[elk@localhost elasticsearch]$ ll
total 95620
-rw-rw-r--. 1 elk elk 97914519 Oct 2 06:58 elasticsearch-6.4.2.tar.gz
2、解压
[elk@localhost elasticsearch]$ tar -zxvf elasticsearch-6.4.2.tar.gz
3、配置elasticsearch.yml配置文件
在config目录下的elasticsearch.yml文件中你可以设置es服务的端口号以及网络ip等
这里主要修改
network.host:0.0.0.0 #自适应检查本机ip地址
4、启动es
切换到bin目录下
[elk@localhost bin]$ ./elasticsearch
启动的过程可能有点缓慢,请耐心等待 启动报错: 问题一:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 解决方案: 切换到root用户 编辑 /etc/sysctl.conf,追加以下内容: vm.max_map_count=655360 保存后,执行: sysctl -p
问题二:ERROR: bootstrap checks failed max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] max number of threads [1024] for user [lishang] likely too low, increase to at least [2048] 解决:切换到root用户,编辑limits.conf 添加类似如下内容 vi /etc/security/limits.conf 添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
问题三:max number of threads [1024] for user [lish] likely too low, increase to at least [2048] 解决:切换到root用户,进入limits.d目录下修改配置文件。 vi /etc/security/limits.d/90-nproc.conf 修改如下内容:
* soft nproc 1024
修改为
* soft nproc 2048
重新启动,成功。
image.png
5、验证es是否启动成功
[elk@localhost ~]$ curl localhost:9200
{
"name": "bWZVh7O",
"cluster_name": "elasticsearch",
"cluster_uuid": "9Rvwbh7bQs6SsRALTwefNQ",
"version": {
"number": "6.4.2",
"build_flavor": "default",
"build_type": "tar",
"build_hash": "04711c2",
"build_date": "2018-09-26T13:34:09.098244Z",
"build_snapshot": false,
"lucene_version": "7.4.0",
"minimum_wire_compatibility_version": "5.6.0",
"minimum_index_compatibility_version": "5.0.0"
},
"tagline": "You Know, for Search"
}
或者在浏览器输入:
image.png
二、 Logstash的安装
1、下载
[elk@localhost elasticsearch]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz
--2018-10-05 23:41:42-- https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz
Resolving artifacts.elastic.co (artifacts.elastic.co)... 54.235.82.130, 107.21.237.188, 23.21.67.46, ...
Connecting to artifacts.elastic.co (artifacts.elastic.co)|54.235.82.130|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 153924169 (147M) [application/x-gzip]
Saving to: ‘logstash-6.4.2.tar.gz’
100%[====================================================================================================================================================================================================================================>] 153,924,169 2.27MB/s in 56s
2018-10-05 23:42:40 (2.62 MB/s) - ‘logstash-6.4.2.tar.gz’ saved [153924169/153924169]
[elk@localhost elasticsearch]$ ll
total 245940
drwxr-xr-x. 9 elk elk 155 Oct 5 23:33 elasticsearch-6.4.2
-rw-rw-r--. 1 elk elk 97914519 Oct 2 06:58 elasticsearch-6.4.2.tar.gz
-rw-rw-r--. 1 elk elk 153924169 Oct 2 06:59 logstash-6.4.2.tar.gz
[elk@localhost elasticsearch]$
2、解压
[elk@localhost elasticsearch]$ tar -zxvf logstash-6.4.2.tar.gz
3、配置文件
在config目录下的logstash.yml我这里也都采用的是默认的,大家可以根据自己的需求自行设置
[elk@localhost config]$ vim logstash.yml
5、创建logstash.conf文件
[elk@localhost logstash-6.4.2]$ pwd
/usr/local/src/elasticsearch/logstash-6.4.2
[elk@localhost logstash-6.4.2]$ vim logstash.conf.conf
新增内容
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
#input plugin 让logstash可以读取特定的事件源。
#事件源可以是从stdin屏幕输入读取,可以从file指定的文件,也可以从es,filebeat,kafka,redis等读取
input {
file {
# path 可以用/var/log/*.log,/var/log/**/*.log,如果是/var/log则是/var/log/*.log
path => ["/data/appLogs/log_error*"]
# type 通用选项. 用于激活过滤器
type => "daemon"
# start_position 选择logstash开始读取文件的位置,begining或者end。
start_position =>"beginning"
}
}
#output plugin 输出插件,将事件发送到特定目标。
output {
#elasticseach 在es中存储日志
elasticsearch {
# elasticseach host配置
hosts => ["http://127.0.0.1:9200"]
# index 事件写入的索引。可以按照日志来创建索引,以便于删旧数据和按时间来搜索日志
index => "elk-%{+YYYY.MM.dd}"
}
}
6、启动logstash
[elk@localhost logstash-6.4.2]$ ./bin/logstash -f logstash.conf.conf
三、 安装kibana
1、下载
[elk@localhost elasticsearch]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz
--2018-10-06 00:21:55-- https://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz
Resolving artifacts.elastic.co (artifacts.elastic.co)... 54.225.221.128, 107.21.237.188, 107.21.202.15, ...
Connecting to artifacts.elastic.co (artifacts.elastic.co)|54.225.221.128|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 188077286 (179M) [application/x-gzip]
Saving to: ‘kibana-6.4.2-linux-x86_64.tar.gz’
100%[====================================================================================================================================================================================================================================>] 188,077,286 4.75MB/s in 41s
2018-10-06 00:22:39 (4.34 MB/s) - ‘kibana-6.4.2-linux-x86_64.tar.gz’ saved [188077286/188077286]
[elk@localhost elasticsearch]$ ll
total 429616
drwxr-xr-x. 9 elk elk 155 Oct 5 23:33 elasticsearch-6.4.2
-rw-rw-r--. 1 elk elk 97914519 Oct 2 06:58 elasticsearch-6.4.2.tar.gz
-rw-rw-r--. 1 elk elk 188077286 Oct 2 06:58 kibana-6.4.2-linux-x86_64.tar.gz
drwxrwxr-x. 13 elk elk 4096 Oct 6 00:15 logstash-6.4.2
-rw-rw-r--. 1 elk elk 153924169 Oct 2 06:59 logstash-6.4.2.tar.gz
2、解压
[elk@localhost elasticsearch]$ tar -zxvf kibana-6.4.2-linux-x86_64.tar.gz
3、修改配置文件
[elk@localhost kibana-6.4.2-linux-x86_64]$ cd config/
[elk@localhost config]$ vim kibana.yml
# Logstash端口
server.port: 5601
# Logstash的IP地址
server.host: "0.0.0.0"
# ES实例URL
elasticsearch.hosts: ["http://192.168.242.120:9200"]
4、启动
[elk@localhost kibana-6.4.2-linux-x86_64]$ ./bin/kibana
通过提示,无任何错误表示启动完成。此时通过访问 http://localhost:5601即可;
五、 SpringBoot相关配置
1、logback 配置
<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="10 seconds">
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true -->
<!-- scanPeriod:设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。当scan为true时,此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 -->
<contextName>logback</contextName>
<!-- name的值是变量的名称,value的值时变量定义的值。通过定义的值会被插入到logger上下文中。定义变量后,可以使“${}”来使用变量。 -->
<property name="log.path" value="/data/appLogs" />
<!-- 彩色日志 -->
<!-- 配置格式变量:CONSOLE_LOG_PATTERN 彩色日志格式 -->
<!-- magenta:洋红 -->
<!-- boldMagenta:粗红-->
<!-- cyan:青色 -->
<!-- white:白色 -->
<!-- magenta:洋红 -->
<property name="CONSOLE_LOG_PATTERN"
value="%yellow(%date{yyyy-MM-dd HH:mm:ss}) |%highlight(%-5level) |%blue(%thread) |%blue(%file:%line) |%green(%logger) |%cyan(%msg%n)"/>
<!--输出到控制台-->
<appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
<!--此日志appender是为开发使用,只配置最底级别,控制台输出的日志级别是大于或等于此级别的日志信息-->
<!-- 例如:如果此处配置了INFO级别,则后面其他位置即使配置了DEBUG级别的日志,也不会被输出 -->
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
<encoder>
<Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
<!-- 设置字符集 -->
<charset>UTF-8</charset>
</encoder>
</appender>
<!--输出到文件-->
<!-- 时间滚动输出 level为 INFO 日志 -->
<appender name="INFO_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!-- 正在记录的日志文件的路径及文件名 -->
<file>${log.path}/log_info.log</file>
<!--日志文件输出格式-->
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
<charset>UTF-8</charset>
</encoder>
<!-- 日志记录器的滚动策略,按日期,按大小记录 -->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!-- 每天日志归档路径以及格式 -->
<fileNamePattern>${log.path}/info/log-info-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<maxFileSize>100MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
<!--日志文件保留天数-->
<maxHistory>15</maxHistory>
</rollingPolicy>
<!-- 此日志文件只记录info级别的 -->
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>INFO</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
</appender>
<!-- 时间滚动输出 level为 WARN 日志 -->
<appender name="WARN_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!-- 正在记录的日志文件的路径及文件名 -->
<file>${log.path}/log_warn.log</file>
<!--日志文件输出格式-->
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
<charset>UTF-8</charset> <!-- 此处设置字符集 -->
</encoder>
<!-- 日志记录器的滚动策略,按日期,按大小记录 -->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${log.path}/warn/log-warn-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<maxFileSize>100MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
<!--日志文件保留天数-->
<maxHistory>15</maxHistory>
</rollingPolicy>
<!-- 此日志文件只记录warn级别的 -->
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>warn</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
</appender>
<!-- 时间滚动输出 level为 ERROR 日志 -->
<appender name="ERROR_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!-- 正在记录的日志文件的路径及文件名 -->
<file>${log.path}/log_error.log</file>
<!--日志文件输出格式-->
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS}|%X{traceId}|[%thread]%-5level|%logger{50}| %msg%n</pattern>
<charset>UTF-8</charset> <!-- 此处设置字符集 -->
</encoder>
<!-- 日志记录器的滚动策略,按日期,按大小记录 -->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${log.path}/error/log-error-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<maxFileSize>100MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
<!--日志文件保留天数-->
<maxHistory>15</maxHistory>
</rollingPolicy>
<!-- 此日志文件只记录ERROR级别的 -->
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
</appender>
<!--
<logger>用来设置某一个包或者具体的某一个类的日志打印级别、以及指定<appender>。
<logger>仅有一个name属性,
一个可选的level和一个可选的addtivity属性。
name:用来指定受此logger约束的某一个包或者具体的某一个类。
level:用来设置打印级别,大小写无关:TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF,
如果未设置此属性,那么当前logger将会继承上级的级别。
-->
<!--
使用mybatis的时候,sql语句是debug下才会打印,而这里我们只配置了info,所以想要查看sql语句的话,有以下两种操作:
第一种把<root level="INFO">改成<root level="DEBUG">这样就会打印sql,不过这样日志那边会出现很多其他消息
第二种就是单独给mapper下目录配置DEBUG模式,代码如下,这样配置sql语句会打印,其他还是正常DEBUG级别:
-->
<!--
root节点是必选节点,用来指定最基础的日志输出级别,只有一个level属性
level:用来设置打印级别,大小写无关:TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF,默认是DEBUG
可以包含零个或多个appender元素。
-->
<root level="INFO">
<appender-ref ref="CONSOLE" />
<appender-ref ref="INFO_FILE" />
<appender-ref ref="WARN_FILE" />
<appender-ref ref="ERROR_FILE" />
</root>
</configuration>
2、AOP日志
自定义注解:
package com.example.demo.aop;
public @interface AopLog {
}
AOP 日志:
package com.example.demo.aop;
import com.example.demo.utils.TraceLogUtils;
import lombok.extern.slf4j.Slf4j;
import org.aspectj.lang.annotation.AfterReturning;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.aspectj.lang.annotation.Pointcut;
import org.slf4j.MDC;
import org.springframework.stereotype.Component;
@Aspect
@Component
@Slf4j
public class logAspect {
@Pointcut("@annotation(com.example.demo.aop.AopLog)")
public void webLog(){
}
@Before("webLog()")
private void deBefore(){
MDC.put("traceId", TraceLogUtils.genTraceId());
log.info("开始执行任务");
}
@AfterReturning("webLog()")
private void doAfterReturning(){
MDC.remove("traceId");
log.info("任务执行结束");
}
}
日志工具类:
package com.example.demo.utils;
import org.slf4j.MDC;
import org.springframework.util.StringUtils;
import java.util.UUID;
public class TraceLogUtils {
/**
* 当traceId为空时,显示的traceId
*/
private static final String DEFAULT_TRACE_ID ="0";
/**
* 设置traceId
*/
public static void setTraceId(String traceId){
//如果参数为空,则设置默认的traceId
traceId = StringUtils.isEmpty(traceId)? DEFAULT_TRACE_ID : traceId ;
//将traceId放置到MDC中
MDC.put("traceId",traceId);
}
/**
* 获取traceId
*/
public static String getTraceId(){
String traceId = MDC.get("traceId");
return StringUtils.isEmpty(traceId) ? DEFAULT_TRACE_ID :traceId ;
}
/**
* 生成traceId
*/
public static String genTraceId(){
return UUID.randomUUID().toString().replace("-","");
}
}
3、功能demo
import com.example.demo.aop.AopLog;
import lombok.extern.slf4j.Slf4j;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import java.text.SimpleDateFormat;
import java.util.Date;
@Component
@Slf4j
public class printTime {
private Logger ACC_LOG = LoggerFactory.getLogger("ERROR_FILE");
@Scheduled(cron = "0 */10 * * * ?")
@AopLog
public void getTime(){
Date date = new Date();
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
String time = simpleDateFormat.format(date);
System.out.println("系统当前时间:"+time);
ACC_LOG.error(time);
}
}
4、查看结构化日志
log_error.log
2022-02-03 13:12:06.021|b4fbe2edb74748a681ae4028f6bb8fa4|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:06
2022-02-03 13:12:08.002|b4adbeb0713743c68fc217bafd3479d9|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:08
2022-02-03 13:12:10.002|d8ec3fc905524ce48eac93d612e56552|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:10
2022-02-03 13:12:12.002|201a199f43a84897aedf9fbaf5bbfceb|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:12
2022-02-03 13:12:14.002|6b96247f751f4977a6f14b77d8a6d388|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:14
2022-02-03 13:12:16.001|026196bec978454e8ec4baa0f66318b3|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:16
2022-02-03 13:12:18.002|6e9c18d0d7c44e04aa9ff9c9be09a8ac|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:18
2022-02-03 13:12:20.002|9fff7115dcd148debc8ed79976716c1c|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:20
2022-02-03 13:12:22.003|2a2d2427d3c34600bc416e990395af43|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:22
2022-02-03 13:12:24.001|65632322f1ae45758ecb5945aa29a3f0|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:24
2022-02-03 13:12:26.001|df7ccfc2f8674f649990c1b9ae15897e|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:26
2022-02-03 13:12:28.003|566edc26e791479cb64ba6e6209fc685|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:28
2022-02-03 13:12:30.001|c48955ab86974339a6429034c5a2dea3|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:30
2022-02-03 13:12:32.003|93a44f09d50c406e8d617437453e6143|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:32
2022-02-03 13:12:34.002|353226df687d444281791e64a590b643|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:34
2022-02-03 13:12:36.003|747a74b51e02490387348ab19a7e5365|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:36
2022-02-03 13:12:38.000|14614cb39ebc4822b33ea14d6d6f1372|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:38
2022-02-03 13:12:40.001|b2ae0daefa56476ab47e5c5611802c0b|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:40
2022-02-03 13:12:42.003|4dfde4652bef4c58908af0b9f8d11e28|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:42
2022-02-03 13:12:44.001|1748a729f09c4c94b3a4eefaf22284ce|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:44
2022-02-03 13:12:46.001|a45d81ae7d5a437e9049cafafd5845a2|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:46
2022-02-03 13:12:48.002|d4bd2b8bdc13489e8f671ec7e469eaf1|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:48
六、Kibana 数据可视化
1、Kibana配置索引
选择 Dev Tools一栏, 输入
put elk 然后点击右侧三角形即可。
2、通过Kibana查看日志数据
七、logstash日志拆分
由上图可以,采集的message是一整条日志,Kibana展示的也是一整条日志,而多数场景下我们需要采集结构化日志,然后将日志做拆分为多个字段到Kibana展示,以便于查询统计分析。以我采集的日志为例,不同字段中间以竖线分开:
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS}|%X{traceId}|[%thread]%-5level|%logger{50}| %msg%n</pattern>
采集的日志格式如下:
2022-02-03 13:12:06.021|b4fbe2edb74748a681ae4028f6bb8fa4|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:06
2022-02-03 13:12:08.002|b4adbeb0713743c68fc217bafd3479d9|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:08
2022-02-03 13:12:10.002|d8ec3fc905524ce48eac93d612e56552|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:10
2022-02-03 13:12:12.002|201a199f43a84897aedf9fbaf5bbfceb|[scheduling-1]ERROR|ERROR_FILE| 2022-02-03 13:12:12
修改logstash安装目录 config下的.conf文件, 添加filter
filter {
mutate {
split => ["message","|"]
}
if [message][0] {
mutate {
add_field => {
"logTime" => "%{[message][0]}"
}
}
}
if [message][1] {
mutate {
add_field => {
"traceId" => "%{[message][1]}"
}
}
}
if [message][2] {
mutate {
add_field => {
"threadInfo" => "%{[message][2]}"
}
}
}
if [message][3] {
mutate {
add_field => {
"extMsg" => "%{[message][3]}"
}
}
}
}
然后重启logstash, 查看Kibana 采集的日志字段信息如下:
成功将采集的一条日志拆分为traceId, threadInfo,extMsg等多个字段。
参考链接:
www.jianshu.com/p/3a1f5ea2c… blog.csdn.net/wang_zu/art… blog.csdn.net/lewky_liu/a…