1、下载安装logstash、elasticsearch、kibanna(版本号要相同)
2、logstash添加配置文件
在bin目录或者config目录或者其他目录下,新建一个**.conf文件
配置文件内容:
input {
#开启tcp插件的监听
tcp {
#这个需要配置成本机IP,不然logstash无法启动
host => "127.0.0.1"
#端口号
port => 9600
#将日志以json格式输入
codec => json_lines
}
tcp {
#这个需要配置成本机IP,不然logstash无法启动
host => "172.23.7.141"
#端口号
port => 8888
#将日志以json格式输入
codec => json_lines
}
}
output {
#输出打印
stdout { codec => rubydebug }
}
}
启动logstash进行监听,启动命令:先cd进到存放logstash.conf的目录下,执行:logstash -f logstash.conf
启动成功:
3、项目中添加依赖
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>6.6</version>
</dependency>
4、logback-spring.xml文件(删减了一些配置)
<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时,配置文档如果发生改变,将会被重新加载,默认值为true -->
<!-- scanPeriod:设置监测配置文档是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。
当scan为true时,此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds">
<contextName>logback</contextName>
<!-- name的值是变量的名称,value的值时变量定义的值。通过定义的值会被插入到logger上下文中。定义后,可以使“${}”来使用变量。 -->
<springProperty name="logging_path" source="logging.file.path"/>
<property name="log.path" value="${logging_path}"/>
<property name="LOG_FILE" value="efp6"/>
<!--0. 日志格式和颜色渲染 -->
<!-- 彩色日志依赖的渲染类 -->
<conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
<conversionRule conversionWord="wex"
converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
<conversionRule conversionWord="wEx"
converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>
<!-- 彩色日志格式 -->
<property name="CONSOLE_LOG_PATTERN"
value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
<!--1. 输出到控制台-->
<appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
<!--此日志appender是为开发使用,只配置最底级别,控制台输出的日志级别是大于或等于此级别的日志信息-->
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>debug</level>
</filter>
<encoder>
<Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
<!-- 设置字符集 -->
<charset>UTF-8</charset>
</encoder>
</appender>
<!--开启tcp格式的logstash传输,通过TCP协议连接Logstash-->
<appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>127.0.0.1:9600</destination>
<encoder class="net.logstash.logback.encoder.LogstashEncoder">
<providers>
<timestamp/>
<version/>
<message/>
<loggerName/>
<threadName/>
<logLevel/>
<callerData/>
</providers>
</encoder>
<keepAliveDuration>5 minutes</keepAliveDuration>
</appender>
<!-- 系统模块日志级别控制 -->
<logger name="com.sdecloud" level="info"/>
<!-- Spring日志级别控制 -->
<logger name="org.springframework" level="warn"/>
<!-- 4. 最终的策略 -->
<!-- 4.1 开发环境:打印控制台-->
<springProfile name="dev">
<root level="info">
<appender-ref ref="CONSOLE"/>
<appender-ref ref="STASH"/>
</root>
</springProfile>
<springProfile name="prod">
<root level="info">
<appender-ref ref="CONSOLE"/>
</root>
</springProfile>
</configuration>
重点:
<!--开启tcp格式的logstash传输,通过TCP协议连接Logstash-->
<appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>127.0.0.1:9600</destination>
<encoder class="net.logstash.logback.encoder.LogstashEncoder">
<providers>
<timestamp/>
<version/>
<message/>
<loggerName/>
<threadName/>
<logLevel/>
<callerData/>
</providers>
</encoder>
<keepAliveDuration>5 minutes</keepAliveDuration>
</appender>
<appender-ref ref="STASH"/>
5、启动项目,可以看到logstash的控制台显示打印:
6、进一步配置logstash,输出到es
input {
#开启tcp插件的监听
tcp {
#这个需要配置成本机IP,不然logstash无法启动
host => "127.0.0.1"
#端口号
port => 9600
#将日志以json格式输入
codec => json_lines
}
tcp {
#这个需要配置成本机IP,不然logstash无法启动
host => "172.23.7.141"
#端口号
port => 8888
#将日志以json格式输入
codec => json_lines
}
}
output {
#输出打印
stdout { codec => rubydebug }
#输出到es
elasticsearch {
hosts => ["127.0.0.1:9200"] #elasticsearch服务地址
action => "index"
index => "digital-park-log-%{+YYYY-MM-dd}" #以天为单位创建的索引
}
}
7、配置完成后先启动ES,再启动logstash和kibanna,kibana中的es连接地址需要放开
8、kibana中查看日志需要添加索引