Springboot集成ELK

531 阅读1分钟

1、下载安装logstash、elasticsearch、kibanna(版本号要相同)

2、logstash添加配置文件

在bin目录或者config目录或者其他目录下,新建一个**.conf文件

截图.png

配置文件内容:

input {
	#开启tcp插件的监听
    tcp {
     #这个需要配置成本机IP,不然logstash无法启动
		host => "127.0.0.1"
		#端口号
		port => 9600
		#将日志以json格式输入
		codec => json_lines
   }
    tcp {
     #这个需要配置成本机IP,不然logstash无法启动
		host => "172.23.7.141"
		#端口号
		port => 8888
		#将日志以json格式输入
		codec => json_lines
   }
}

output {
    #输出打印
    stdout { codec => rubydebug } 
  }
 }

启动logstash进行监听,启动命令:先cd进到存放logstash.conf的目录下,执行:logstash -f logstash.conf

启动成功:

截图 (1).png

3、项目中添加依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>6.6</version>
</dependency>

4、logback-spring.xml文件(删减了一些配置)

<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时,配置文档如果发生改变,将会被重新加载,默认值为true -->
<!-- scanPeriod:设置监测配置文档是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。
                 当scan为true时,此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds">
    <contextName>logback</contextName>

    <!-- name的值是变量的名称,value的值时变量定义的值。通过定义的值会被插入到logger上下文中。定义后,可以使“${}”来使用变量。 -->
    <springProperty name="logging_path" source="logging.file.path"/>
    <property name="log.path" value="${logging_path}"/>
    <property name="LOG_FILE" value="efp6"/>

    <!--0. 日志格式和颜色渲染 -->
    <!-- 彩色日志依赖的渲染类 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>
    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>

    <!--1. 输出到控制台-->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <!--此日志appender是为开发使用,只配置最底级别,控制台输出的日志级别是大于或等于此级别的日志信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>debug</level>
        </filter>
        <encoder>
            <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    
    <!--开启tcp格式的logstash传输,通过TCP协议连接Logstash-->
    <appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:9600</destination>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <providers>
                <timestamp/>
                <version/>
                <message/>
                <loggerName/>
                <threadName/>
                <logLevel/>
                <callerData/>
            </providers>
        </encoder>
        <keepAliveDuration>5 minutes</keepAliveDuration>
    </appender>

    <!-- 系统模块日志级别控制  -->
    <logger name="com.sdecloud" level="info"/>
    <!-- Spring日志级别控制  -->
    <logger name="org.springframework" level="warn"/>

    <!-- 4. 最终的策略 -->
    <!-- 4.1 开发环境:打印控制台-->
    <springProfile name="dev">
        <root level="info">
            <appender-ref ref="CONSOLE"/>
            <appender-ref ref="STASH"/>
        </root>
    </springProfile>

    <springProfile name="prod">
        <root level="info">
            <appender-ref ref="CONSOLE"/>
        </root>
    </springProfile>

</configuration>

重点:

<!--开启tcp格式的logstash传输,通过TCP协议连接Logstash-->
<appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <destination>127.0.0.1:9600</destination>
    <encoder class="net.logstash.logback.encoder.LogstashEncoder">
        <providers>
            <timestamp/>
            <version/>
            <message/>
            <loggerName/>
            <threadName/>
            <logLevel/>
            <callerData/>
        </providers>
    </encoder>
    <keepAliveDuration>5 minutes</keepAliveDuration>
</appender>
<appender-ref ref="STASH"/>

5、启动项目,可以看到logstash的控制台显示打印:

截图 (2).png

6、进一步配置logstash,输出到es

input {
	#开启tcp插件的监听
    tcp {
     #这个需要配置成本机IP,不然logstash无法启动
		host => "127.0.0.1"
		#端口号
		port => 9600
		#将日志以json格式输入
		codec => json_lines
   }
    tcp {
     #这个需要配置成本机IP,不然logstash无法启动
		host => "172.23.7.141"
		#端口号
		port => 8888
		#将日志以json格式输入
		codec => json_lines
   }
}

output {
    #输出打印
    stdout { codec => rubydebug } 
    #输出到es
    elasticsearch {
    hosts => ["127.0.0.1:9200"]         #elasticsearch服务地址
    action => "index"   
    index => "digital-park-log-%{+YYYY-MM-dd}"   #以天为单位创建的索引
  }
 }

7、配置完成后先启动ES,再启动logstash和kibanna,kibana中的es连接地址需要放开

8、kibana中查看日志需要添加索引

截图 (3).png