比快更快的 ELK 8 安装使用指南-Elasticsearch,Kibana,Logstash

6,278 阅读4分钟

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第23天,点击查看活动详情

Elastic 8 的新特性

Elastic 8.0 版号称 比快更快 ,其新特性可参考 Elastic 官方博客:

Elastic 8.0 版:在速度、扩展、高相关性和简单性方面开启了一个全新的时代

本篇文章就直接来安装一下 Elastic 8 版本来瞅瞅。

安装 Elastic 三剑客:Elasticsearch,Kibana,Logstash

本文安装 Elastic 版本:8.3.3。

通过安装包安装

安装 Elasticsearch

cd /usr/local
# 下载安装包,文件大小有500多M
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.3-linux-x86_64.tar.gz
# 校验文件,后面校验的时候确保文件传输过程中没有被损坏
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.3-linux-x86_64.tar.gz.sha512

image-20220820115309399.png

如果无法使用 wget 下载,可先下载到本地,然后上传到服务器。

下载地址:www.elastic.co/downloads/e…

下载完成后,使用如下方式安装:

# 该步骤比较 tar.gz 安装包与发布的校验和,如果一直则输出 elasticsearch-8.3.3-linux-x86_64.tar.gz: OK
shasum -a 512 -c elasticsearch-8.3.3-linux-x86_64.tar.gz.sha512
# 解压
tar -xzf elasticsearch-8.3.3-linux-x86_64.tar.gz

解压之后的 elasticsearch-8.3.3 目录就是 ES 的家目录。

启动:

# 进入 ES 家目录
cd elasticsearch-8.3.3
# 使用如下命令启动 ES
./bin/elasticsearch

image-20220820120815982.png

这里有几个很明显的提示:

1. 有个告警:warning: ignoring JAVA_HOME=/usr/local/java; using bundled JDKElasticsearch 安装包本身绑定使用的是 OpenJDK

Elasticsearch 使用 Java 构建,在每个发行版中都包含 OpenJDK 捆绑版本。 ES 推荐使用默认的 OpenJDK 的 JVM,该 JDK 位于$ES_HOME 的 jdk 目录中。

image-20220820121458160.png

当然也可以改成使用自己的 Java 版本,设置一下 ES_JAVA_HOME 环境变量,指向自己的 JDK 即可。

建议还是使用 ES 默认的 JDK 进行构建,无需其他额外的配置。

2. can not run elasticsearch as root :不能使用 root 用户来运行 ES。

创建一个 elastic 用户,使用该用户启动。

# 为 Elasticsearch 添加用户
useradd elastic
# 设置用户密码
passwd elastic
(elA3T*c0)
# 设置 $ES_HOME 的拥有者为 elastic
chown -R elastic /usr/local/elasticsearch-8.3.3

切换到 elastic 用户启动:

su elastic
cd elasticsearch-8.3.3
./bin/elasticsearch

启动过程中,打印出了一大堆东西:

image-20220820123657438.png

这是关于几个密码安全设置的,先放这里后面有用。

控制台最后打印出了如下内容:

image-20220820123831496.png

这其实是一个 Bug,详见 issue:github.com/elastic/ela…

我们可以通过配置文件设置不使用 GeoIpDownloader

另外,当我访问的时候:

image-20220820124255417.png

连接不上,我们可以设置 conf/elasticsearch.ymlnetwork.host 配置项解决访问问题。

修改配置项:

# 修改 network.host
network.host: 0.0.0.0
# 添加如下配置项,禁用 GeoIpDownloader
ingest.geoip.downloader.enabled: false

然后再次启动:

image-20220820124853795.png

果然该来的还是回来(之前安装 elasticsearch 7.10 就遇到过此问题),报错了:

bootstrap check failure [1] of [3]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
bootstrap check failure [2] of [3]: max number of threads [3795] for user [elastic] is too low, increase to at least [4096]
bootstrap check failure [3] of [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

这几个问题我在 这些Elasticsearch 7.10部署的问题,你遇到过吗 这篇文章中也有提及,这里再补充一下解决方案。

解决 max file descriptorsmax number of threads 不够的问题:

# 在root用户下操作
vim /etc/security/limits.conf
# 修改最大进程数和最大线程数
# 在文件末尾添加
elastic hard nofile 65536
elastic soft nofile 65536
elastic hard nproc 4096
elastic soft nproc 4096

解决 max virtual memory areas vm.max_map_count 不够的问题:

# 在root用户下操作
vi /etc/sysctl.conf

# 在文件末尾添加
vm.max_map_count = 655360

# 保存退出
# 使之生效
sysctl -p

然后再次使用 elastic 用户启动就可以了。

启动完成之后我们来访问一下:http://192.168.242.15:9200 ,竟然还是显示如下错误访问不了:

image-20220820160227649.png

莫慌,我们再来浏览一下看一下 config/elasticsearch.yml 配置文件,看到这样一段配置:

# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12

可以看到,ES 8 默认开启了 SSL ,我们可以把 xpack.security.http.ssl.enabled 设置为 false,再启动后就可以访问了。

但这里我们不修改这个配置,直接使用 https 访问,也是可以的:

image-20220820160841916.png

点“高级”,继续前往,选择信任就可以了,然后我们看到和之前的 ES 版本不同的是,这里需要输入密码:

image-20220820160928654.png

还记得前面第一次启动 ES 的时候有一堆密码的提示吧,那其中就有 elastic 登录密码。不过我们已经重启过好几次了,也没有保存密码,怎么办呢?

我们进入到 $ES_HOME/bin 目录下找找看有没有特别的工具:

image-20220820161358495.png

使用 elasticsearch-reset-password 可以修改密码,通常有两种方式:

1.elastic 账号自动生成新的随机密码,输出至控制台

./elasticsearch-reset-password -u elastic

image-20220820161711447.png

2.elastic 账号设置自定义密码

./elasticsearch-reset-password -u elastic -i

image-20220820161929240.png

OK,万事俱备了,现在再访问那个熟悉的 9200 ,输入用户名 elastic 和刚才自己设置的密码:

image-20220820162329779.png

这样就成功的安装了 Elasticsearch 8.3.3 了。

安装 Kibana

下面来通过安装包安装 Elastic 三剑客之一的 Kibana

Kibana 版本选择和 Elasticsearch 的版本一致即可,官方提供了一致的版本。

在确定 ES 的版本后,Kibana 和 Logstash 以及其他的一些组件均可以和 ES 的版本一致,这一点真是太爽了,不用考虑太多版本 Elastic 各个组件之间的兼容问题。

下载地址:www.elastic.co/downloads/k…

和安装 ES 的步骤基本相同:

# 下载安装包
wget https://artifacts.elastic.co/downloads/kibana/kibana-8.3.3-linux-x86_64.tar.gz
# 下载校验文件
wget https://artifacts.elastic.co/downloads/kibana/kibana-8.3.3-linux-x86_64.tar.gz.sha512
# 校验
shasum -a 512 -c kibana-8.3.3-linux-x86_64.tar.gz.sha512
# 解压
tar -xzf kibana-8.3.3-linux-x86_64.tar.gz

Kibana 安装包大小 257 M。

以上步骤完成之后,通过安装 ES 的经验,我们先来看一下 kibana 的配置文件 config/kibana.yml,修改其中的 server.host,使其能够外网访问:

server.host: "0.0.0.0"

启动:

[root@elk8 kibana-8.3.3]# ./bin/kibana
Kibana should not be run as root.  Use --allow-root to continue.

这个就和 ES 的套路一样了,提示不应该用 root 用户启动,当然 Kibana 可用通过 --allow-root 用 root 用户启动。

不使用 root 用户登录的话,可以新建一个 kibana 用户,并设置 kibana-8.3.3 目录的拥有者为 kibana。

再次启动:

./bin/kibana --allow-root

image-20220820173737832.png

提示 Kibana 还未配置,我们按照提示,访问 http://192.168.242.15:5601/?code=263850

image-20220820173904012.png

那么这个 token 从哪里来呢?

可以使用 ES 的 elasticsearch-create-enrollment-token 命令为 Elasticsearch 节点和 Kibana 实例创建注册令牌:

image-20220820174407148.png

执行命令:

./elasticsearch-create-enrollment-token

image-20220820174555896.png

提示 -s 为必填项,这里我们是要将 kibana 加入,所以可以这样创建 token:

# $ES_HOME/bin 目录下
./elasticsearch-create-enrollment-token -s kibana

image-20220820174811054.png

复制生成的 token,填写:

image-20220820174935538.png

然后就会自动配置:

image-20220820175006564.png

配置完了以后,他竟然让我输入用户名密码:

image-20220820175059083.png

输入在安装 ES 时设置的用户名密码,即可进入:

image-20220820175400563.png

找到我们熟悉的 Dev Tools:

image-20220820175553247.png

美滋滋啊有木有!

安装 Logstash

这个就简单了,直接下载安装包解压使用即可。

# 下载
wget https://artifacts.elastic.co/downloads/logstash/logstash-8.3.3-linux-x86_64.tar.gz
# 解压
tar -zxvf logstash-8.3.3-linux-x86_64.tar.gz

不同的用途有不同的配置,如果我们使用 Elasticsearch + Logstash 进行日志采集,可以这样配置:

拷贝一份 $LOGSTASH_HOME/config/logstash-sample.conf 配置文件,命名为 logstash-app-search.conf ,修改其内容为:

input {
  tcp {
    # Logstash 作为服务
    mode => "server"
    host => "192.168.242.15"
    # 开放9001端口进行采集日志
    port => 9001
    # 编解码器
    codec => json_lines
  }
}

output {
  elasticsearch {
    # 配置ES的地址
    hosts => ["https://192.168.242.15:9200"]
    # 在ES里产生的index的名称
    index => "app-search-log-collection-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "elastic"
  }
  stdout {
    codec => rubydebug
  }
}

启动 Logstash :

logstash -f $LOGSTASH_HOME/config/logstash-app-search.conf

# 后台启动
# nohup logstash -f $LOGSTASH_HOME/config/logstash-app-search.conf &

具体的使用方式可看我之前的这篇文章,

10分钟部署一个ELK日志采集系统

Spring Boot 中用 ELK 采集日志 的说明。

以上,本次导航结束。

点个赞再走吧~