Elasticsearch至少需要java8 ,所以要配好Java 的环境,这个就自己装一下吧。
安装Elasticsearch
下载Elasticsearch,解压。
然后去其bin 目录下,运行elasticsearch.bat ,
如下Elasticsearch 运行起来的终端窗口,
安装Logstash
ES 的数据是从哪来的呢?可以通过Logstash 去采集,例如采集MySQL 数据库里一张表的数据。
下载Logstash,解压。 需要用到一个Java的JDBC驱动mysql-connector-java-5.1.46.jar,连接的是Mysql数据库,将mysql-connector-java-5.1.46.jar 放到Logstash 的bin 目录下。
然后在Logstash 的bin 目录下,创建一个文件,命名mysqltoes.conf ,内容如下,
input {
stdin { }
jdbc {
jdbc_connection_string => "jdbc:mysql://localhost:3306/你的数据库名字"
jdbc_user => "你的数据库用户名"
jdbc_password => "你的数据库密码"
jdbc_driver_library => "C:/logstash/bin/mysql-connector-java-5.1.46.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
statement => "SELECT id(主键),其他内容 FROM 你的表"
schedule => "* * * * *"
}
}
output {
stdout {
codec => json_lines
}
elasticsearch {
hosts => "localhost:9200"
index => "你要创建的索引名"
document_id => "%{id}"
}
}
将相应内容更改,
在命令行进入到Logstash 的bin 目录,运行
logstash -f mysqltoes.conf
如下,
这样就可以通过logstash 进行数据采集,采集MySQL 数据库相应表的内容;
当该有新数据时,将数据输出到elasticsearch ,建立索引,之后当该 表有变化,logstash 还是输出到elasticsearch 对应的索引;
我们在kibana 进行数据展示,可以很方便的观察数据,还可以建立条形统计图,图像化方式更便于观察每种日志的对比;
安装Kibana
Kibana 可以查看ES 的数据,就可以理解为提供了图形化界面,管理ES 的工具。下载Kibana,解压。
去其config 目录下,简单的配置下kibana.yml ,可以如下配置,
运行bin 目录下的kibana.bat ,
Kibana 的使用
在Management 的Index Patterns 创建一个索引模式,如图,
点击Create index pattern 去创建索引,
完成创建,
这样在Discover 就可以查看数据,
在Visualize 可以图形化方式查看,如下,