Win10安装ELK

1,286 阅读7分钟

主页:写程序的小王叔叔的博客欢迎来访

支持:点赞​收藏​关注

​ELK的参考资料

ELK官网:Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic

ELK官网文档:www.elastic.co/guide/...

ELK中文手册:www.elastic.co/guide/...

ELK中文社区:Elastic 中文社区

es从入门到精通的博客 :

ElasticSearch从入门到精通,史上最全(持续更新,未完待续,每天一点点

1.Elastic简介

《Elastic:菜鸟上手指南》地址 : Elastic:开发者上手指南_Elastic

Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个开源项目组合在一起,就形成了 ELK 软件栈。他们三个共同形成了一个强大的生态圈。

简单地说,

Elasticsearch 处于最核心的位置,它可以帮我们对数据进行快速地搜索及分析,

Logstash 负责数据的采集,处理(丰富数据,数据转型等),

Kibana 负责数据展,分析及管理。

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

2021040709304812.png

整体版本的下载地址 : www.elastic.co/cn/download… 三大件一定要使用相同的版本号!(否则将导致下面的错误). (由于外网 要用VPN访问)

上面的地址是官网,我本地下载的文件在我的资源中,点击我的资源就可以下载

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

2.配置java开发环境

2.1)jdk1.8+ 本电脑借用前同事的版本 【 1.9+更好

3.准备基本的开发jar 及 相关开发工具

3.1)如 Redis mysql (这些辅助后面的使用,在我的资源文件中)

3.2) Elasticsearch v7.3.1 Kibana V7.3(可直接下载)

3.3)Redis客户端(这些辅助后面的使用)

3.4)Postman (这些辅助后面的使用)

安装注意 : 安装elk时,创建文件时,一定不能出现“空格”,如果出现 ,“空格”变成“-”代替

4.1)Windows10 配置安装Elasticsearch 和 Elasticsearch-head及使用

它的产品可以在Elasticsearch: The Official Distributed Search & Analytics Engine | Elastic 进行下载。Elasticsearch 是一个分布式的基于 REST 接口的为云而设计的搜索引擎。想要发挥其强大的作用,你需使用 Java 并要将其集成到你的应用中。

在 Windows 上运行 bin\elasticsearch.bat:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

elasticsearch.bat

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

以上操作成功后 ,访问:http://localhost:9200 将显示下图表示安装成功!

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

安装成功之后,开始安装Elasticsearch-head,在安装之前需要安装node.js 和 grunt 。

首先下载:

nodejs : Download | Node.js 安装nodejs 

es-head: GitHub - mobz/elasticsearch-head: A web front end for an elastic search cluster

运行grunt: 在es-head文件夹下 进行 cmd 执行命令:npm install -g grunt -cli ,安装成功后,如图:

20210413114944590.png

安装Head插件

上面下载之后,进行解压,cmd 进入es-head 执行npm install命令 安装pathomjs,时间过长,静静等待即可

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

启动成功后,在上面截图中,输入grunt server,进行启动head,如图:

20210413133432184.png​编辑

然后在es/config/elasticsearch.yml, 文件 末端另起一行分别顶格添,保存后重启elasticsearch.bat

http.cors.enabled: true
http.cors.allow-origin: "*"

启动之后,浏览器访问:Node Exporter

20210413133732698.png

2021041313375914.png

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

使用方法:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

4.2)Windows10 配置 安装 Kibana

【4.1】成功安装后,在浏览器中输入地址:http://localhost:5602。则将显示如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​我的电脑没有直接安装,因此通过【4.2】进行单独安装。

分别在/kibana/config/kibana.yml中修改,找到对应的位置修改即可:

server.port: 5602

elasticsearch.url: "http://localhost:9200"

修改成功,启动.\bin\kibana.bat 如下:在启动kibana前一定要先启动es.bat

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

5)安装之后遇见的问题进行汇总:

This version of Kibana requires Elasticsearch v6.4.1 on all nodes. I found the following incompatible nodes in your cluster: v7.3.1 @ 127.0.0.1:9200 (127.0.0.1)

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​解决:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​基本语法学习使用:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

6)Windows10 配置 安装 Logstash

下载地址:www.elastic.co/cn/download…

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

Logstash 包含3个主要部分: 输入(inputs),过滤器(filters)和输出(outputs)。 你必须定义这些过程的配置才能使用 Logstash,尽管不是每一个都必须的。在有些情况下,我们可以甚至没有过滤器。在过滤器的部分,它可以对数据源的数据进行分析,丰富,处理等等。

logstash的作用是将redis中的日志信息收集并保存到elasticsearch中,redis只是作为缓存保存数据,logstash取完之后会删除redis中的数据信息。

下图展示的是下载官网下载ELK的历史版本链接,请根据具体情况进行选在下载。

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

安装filebeat

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

file beat用于将实时监测日志文件的变化并传递到制定的目的地。在创建Logstash管道之前,你需要先配置Filebeat来发送日志行到Logstash。

修改filebeat.yml文件内容:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

安装Logstash:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​成功下载Logstash文件之后,在/bin/*创建一个Logstash.conf文件,内容是:

input {
    file {
        path => "D:/software/elasticsearch-7.3.1/elasticsearch-7.3.1/logs/*"
		start_position=>"beginning"
	    sincedb_path => "/dev/null"
    }
}
output {
    stdout {
        codec => json_lines
    }
}

并通过cmd命令运行文件 通过:bin/logstash -f logstash.conf 运行,并得到如下界面:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​截图中红色箭头出现 删除/data/.lock的文件 重新执行上面的命令即可。

修改文件pipeline.yml文件内容,设置推送的logs文件路径:

 - pipeline.id: test
   pipeline.workers: 1
   pipeline.batch.size: 1
   config.string: "input { generator {} } filter { sleep { time => 1 } } output { stdout { codec => dots } }"
 #- pipeline.id: another_test
#   queue.type: persisted
   path.config: "D:/software/elasticsearch-7.3.1/logstash-7.3.1/bin/logstash.conf"

成功创建之后,cmd启动,logstash-7.3.1/bin/logstash.bat文件,配置完成后 读取logs文件,静静地等待中吧~

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​运行中,可能遇见问题,本博客根据自己学习过程中遇见的问题尽心整理,如

0.1)ERROR: Pipelines YAML file must contain an array of pipeline configs. Found "Hash" in /server/logstash-6.6.1/config/pipelines.yml

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​0.2) If you wish to run multiple instances, you must change the "path.data" setting.

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​0.3)tash-7.3.1\\lib\\bootstrap\\environment.rb:73:in `

'"] :非常尴尬的一个错

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

20210418134936915.png​以上就是全部Windows10 *64 安装ELK的所有步骤及方法,可以直接进行业务使用。

总结:

通过三天的时间,Windows10 配置ELK的方式,自己掌握了基本操作的方法,启动顺序:elasticsearch.bat - filebeat.exe - logstash.conf - logstash.bat 运行后静静等待即可。

要的关键点已阐明,具体详细的步骤请参考下面大神级别的博客。

以上是自己整理的,并测试过,可以直接用

⚠️注意 ~

💯本期内容就结束了,如果内容有误,麻烦大家评论区指出

如有疑问❓可以在评论区留言💬或私信留言💬,尽我最大能力🏃‍♀️帮大家解决👨‍🏫!

如果我的文章有帮助,欢迎点赞+关注✔️鼓励博主🏃,您的鼓励是我分享的动力🏃🏃🏃~