阿里云部署ES和kibana

10 阅读2分钟

1、购买元主机

在阿⾥云上购买4台云主机,配置为8C16G,1亿数据量默认的40G磁盘可以满⾜使⽤。 在云主机使⽤的安全组中打开9300、9800端⼝

image.png

2、修改操作系统的配置

vim /etc/security/limits.conf(退出当前⽤户重新登录后⽣效)

* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096

vim /etc/sysctl.conf(然后执⾏sysctl -p这条命令让配置

vm.max_map_count=262144

3、创建es用户(3台机器上都做)

useradd es
passwd es

4、下载elasticsearch安装包

此次使用的版本为7.9.3 www.elastic.co/cn/download…

4.1、第一台机器

4.1.1、创建目录(3台机器)

mkdir -p /app/elasticsearch
mkdir -p /app/elasticsearch/data
mkdir -p /app/elasticsearch/log

4.1.2、上传elasticsearch安装包(3台机器)

image.png

4.1.3、解压(3台机器)

tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz

image.png

4.1.4、删除安装包(3台机器)

rm -rf elasticsearch-7.9.3-linux-x86_64.tar.gz

4.1.5、配置elasticsearch.yml文件(3台机器)

cd /app/elasticsearch/elasticsearch-7.9.3/config echo '' > elasticsearch.yml默认的配置文件里面的内容全被注释掉了,就把他清空了,重新写配置文件 vim elasticsearch.yml

cluster.name: escluster
node.name: esnode2
node.master: true
node.data: true
node.max_local_storage_nodes: 3
network.host: 0.0.0.0
http.port: 9033
transport.tcp.port: 9800
discovery.seed_hosts: ["172.31.252.155:9800","172.31.252.156:9800","172.31.252.154:9800"]
cluster.initial_master_nodes: ["esnode1","esnode2","esnode3"]
path.data: /app/elasticsearch/data
path.logs: /app/elasticsearch/log
xpack.monitoring.enabled: true
xpack.monitoring.collection.enabled: true
# 集群名称
cluster.name: escluster
# 节点名称
node.name: esnode2
# 节点角色
node.master: true
node.data: true
# 最大的节点数
node.max_local_storage_nodes: 3
# 绑定的ip地址
network.host: 0.0.0.0
# 对外的端口
http.port: 9033
# 节点之间通信的端口
transport.tcp.por: 9800
# 节点发现和集群选举
discovery.seed_hosts: ["172.31.252.155:9800","172.31.252.156:9800","172.31.252.154:9800"]
cluster.initial_master_nodes: ["esnode1","esnode2","esnode3"]
# 数据目录和日志目录
path.data: /app/elasticsearch/data
path.logs: /app/elasticsearch/log
# 配置好了到时候kibana上可以看到堆栈监控数据
xpack.monitoring.enabled: true
xpack.monitoring.collection.enabled: true

4.1.6、修改jvm.options文件(3台机器)

cd /app/elasticsearch/elasticsearch-7.9.3/config/
vim jvm.options

现在机器是16G的

-Xms8g
-Xmx8g

4.1.7、切换到es用户并启动上面的es(3台机器)

su es
/app/elasticsearch/elasticsearch-7.9.3/bin/elasticsearch -d
tail -f /app/elasticsearch/elasticsearch-7.9.3/log/escluster.log

4.1.8、验证一下查看elasticsearch集群的信息(3台机器)

http://47.105.116.219:9300/_cat/health?v
http://47.105.66.156:9300/_cat/health?v
http://47.105.107.229:9300/_cat/health?v

5、部署Kibana

image.png

5.1 购买云主机,使用的端口是9000端口,2C4G即可。

5.2 创建kibana用户

useradd kibana
passwd kibana

5.2 下载kibana安装包

此次使用的版本为7.9.3 www.elastic.co/cn/download…

5.3 部署kibana

5.3.1 创建目录

mkdir -p /app/kibana

5.3.2 上传安装包

把安装包上传到 /app/kibana目录下

5.3.3 解压

tar -zxvf kibana-7.9.3-linux-x86_64.tar.gz

5.3.4 修改kibana.yml配置文件

echo '' > kibana.yml
vim kibana.yml

把elasticsearch.hosts修改为实际的elasticsearch各个节点的地址

image.png

server.port: 9000

server.host: "0.0.0.0"

elasticsearch.hosts: ["http://47.105.116.219:9300","http://47.105.66.156:9300","http://47.105.107.229:9300"]

i18n.locale: "zh-CN"
# kibana的端口
server.port: 9000

# 绑定的地址
server.host: "0.0.0.0"

# es的地址
elasticsearch.hosts: ["http://47.105.116.219:9300","http://47.105.66.156:9300","http://47.105.107.229:9300"]

# 显示的语言
i18n.locale: "zh-CN"

5.3.5 把/app/kibana属组和属主都改成kibana用户

chown -R kibana:kibana /app/kibana

5.3.6 切换到kibana用户然后启动kibana

su kibana
nohup /app/kibana/kibana-7.9.3-linux-x86_64/bin/kibana &

5.3.6 访问kibana

http://47.105.67.29:9000

击堆栈检测可以看到es集群中节点监控信息

image.png