linux安装ElasticSearch

JHolland
419 阅读6分钟

linux安装

ES安装步骤

  • JDK版本1.8及以上;

  • 下载对应的ES实例;

  • 解压ES压缩文件;

  • 新建es账户, adduser es → 添加es账户, passwd es → 设置密码为es;

  • 修改文件夹归属组 → chown -R es:es [es安装路径文件夹]

  • 后台启动ES(需要切换为es账户进行启动) → ./bin/elasticsearch -&

ES安装/启动错误解决

错误内容: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

  1. 切换回root用户;

  2. 编辑 /etc/security/limits.conf文件,在文件最后追加配置: es soft nofile 65535 es hard nofile 65537, 其中es为启动es的用户名称;

  3. 重新登录es账户, 该配置即可生效;

错误内容: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least[262144]

  1. 切换回root用户;

  2. 在/etc/sysctl.conf 文件中修改 vm.max_map_count 参数, 添加一行 vm.max_map_count=655360;

  3. 执行重新加载系统参数命令 → sysctl -p;

错误内容: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

  1. 在es目录下config/elasticsearch.yml配置文件中,修改以下配置为(单机版):
node.name: "node-1" 

discovery.seed_hosts: ["127.0.0.1", "[::1]"] 

cluster.initial_master_nodes: ["node-1"]

ES运维参数配置

ES运行参数配置文件路径为/service/elasticsearch.conf

#es的home路径，不用用默认值就可以
set.default.ES_HOME=<Pathto ElasticSearch Home>

#分配给es的内存大小
set.default.ES_HEAP_SIZE=1024

#启动等待超时时间（以秒为单位）
wrapper.startup.timeout=300

#关闭等待超时时间（以秒为单位）
wrapper.shutdown.timeout=300

#ping超时时间(以秒为单位)
wrapper.ping.timeout=300

ES节点参数配置文件路径为/config/elasticsearch.yml

#配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
cluster.name:elasticsearch

#节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。
node.name:"FranzKafka"

#指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。
node.master:true

#指定该节点是否存储索引数据，默认为true。
node.data:true

#设置默认索引分片个数，默认为5片。
index.number_of_shards:5

#设置默认索引副本个数，默认为1个副本。
index.number_of_replicas:1

#设置配置文件的存储路径，默认是es根目录下的config文件夹。
path.conf:/path/to/conf

#设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：
path.data:/path/to/data1,/path/to/data2

#设置临时文件的存储路径，默认是es根目录下的work文件夹。
path.work:/path/to/work

#设置日志文件的存储路径，默认是es根目录下的logs文件夹
path.logs:/path/to/logs

#设置插件的存放路径，默认是es根目录下的plugins文件夹
path.plugins:/path/to/plugins

#设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，
#可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。
#同时也要允许elasticsearch的进程可以锁住内存，Linux下可以通过`ulimit-l unlimited`命令。
bootstrap.mlockall:true

#设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。
network.bind_host:192.168.0.1

#设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。
network.publish_host:192.168.0.1

#这个参数是用来同时设置bind_host和publish_host上面两个参数。
network.host:192.168.0.1

#设置节点间交互的tcp端口，默认是9300。
transport.tcp.port:9300

#设置是否压缩tcp传输时的数据，默认为false，不压缩。
transport.tcp.compress:true

#设置对外服务的http端口，默认为9200。
http.port:9200

#设置内容的最大容量，默认100mb
http.max_content_length:100mb

#是否使用http协议对外提供服务，默认为true，开启。
http.enabled:false

#gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，Hadoop的HDFS，和amazon的s3服务器
gateway.type:local

#设置集群中N个节点启动时进行数据恢复，默认为1。
gateway.recover_after_nodes:1

#设置初始化数据恢复进程的超时时间，默认是5分钟。
gateway.recover_after_time:5m

#设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。
gateway.expected_nodes:2

#初始化数据恢复时，并发恢复线程的个数，默认为4。
cluster.routing.allocation.node_initial_primaries_recoveries:4

#添加删除节点或负载均衡时并发恢复线程的个数，默认为4。
cluster.routing.allocation.node_concurrent_recoveries:2

#设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。
indices.recovery.max_size_per_sec:0

#设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。
indices.recovery.concurrent_streams:5

#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）
discovery.zen.minimum_master_nodes:1

#设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。
discovery.zen.ping.timeout:3s

#设置是否打开多播发现节点，默认是true。
discovery.zen.ping.multicast.enabled:false

#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点
discovery.zen.ping.unicast.hosts:["host1", "host2:port","host3[portX-portY]"]

ES JVM生产环境配置建议

  • Xmx与Xms大小设置为相同;

  • 不要超过机器内存的50%;

  • 不要超过30GB内存;

Kibana启动命令

  • nohup bin/kibana & → 后台启动kibana命令(在kibana的安装目录下)

  • bin/kibana-plugin list → 查看kibana已经安装的插件

  • bin/kibana-plugin install xxxx → 安装xxxkibana插件

ES相关linux命令

  • bin/elasticsearch-plugin list → 查看es已经安装的插件;

  • bin/elasticsearch-plugin install analysis-icu → es安装xx插件(以analysis-icu插件(国际化通用分词器)为例);

  • bin/elasticsearch-plugin remove analysis-icu → 删除es的插件;

Docker安装

一、ElasticSearch安装与启动

#1.拉取镜像，安装版本：7.11.2
docker pull elasticsearch:7.11.2

#2.启动镜像
docker run -d -p 9200:9200 -p 9300:9300 --name es -e "discovery.type=single-node" elasticsearch:7.11.2

#3.进入es容器内容
docker exec -it es /bin/bash

#4.修改es配置文件
vi /usr/share/elasticsearch/config/elasticsearch.yml

#5.添加以下配置
http.cors.enabled: true
http.cors.allow-origin: "*"

#6.后续启动es容器
docker start es

#参数说明
**-d：后台运行,返回容器id
 
-p 9200:9200：将虚拟机9200端口映射到 ElasticSearch 的9200端口（web通信默认使用9200端口）
 
-p 9300:9300：将虚拟机9300端口映射到 ElasticSearch 的9300端口（分布式情况下，各个节点之间通信默认使用9300端口）
 
--name es：为容器起一个名字为es
 
elasticsearch:7.11.2：ElasticSearch的镜像名称

二、Kibana安装与启动

#1.拉取kibana 7.11.2版本镜像
docker pull kibana:7.11.2

#2.docker创建容器，并启动kibana
docker run --name kibana -d --link es:elasticsearch -p 5601:5601 kibana:7.11.2

#3.进入kibana容器内容
docker exec -it kibana /bin/bash

#4.编辑kibana配置文件
vi /usr/share/kibana/conf/kibana.yml

#5.后续启动kibana容器
docker start kibana
avatar
文章
阅读
粉丝