一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第23天，点击查看活动详情。
部署 elasticsearch和迁移数据
一、 服务器资源
服务名称：Linux服务器
IP：[请查看资源分配文档]
操作系统：CentOS 6.9 x64
二、服务端安装JDK
2.1、卸载系统自带的jdk
Centos可能自带了jdk，但是版本可能会较低,执行下面的命令检测是否已经安装了jdk
# rpm -qa | grep jdk
如果检测已经安装了二进制的jdk，则使用下面的命令卸载，防止现在的二进制jdk对你之后安装的源码jdk干扰
可能已经安装，但是版本相当于官网较低，为防止干扰，所以先卸载自带jdk
卸载如上图显示的相关文件：
#rpm -e --nodeps tzdata-java-2014g-1.el6.noarch
2.2、将JDK放到 tools目录下并解压
把jdk-8u201-linux-x64.tar.gz上传到/opt/tools目录下，解压到/opt/app目录下
# cd /opt/tools
# tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/app/
把解压出来的目录改名为jdk1.8
# cd /opt/app
# mv jdk1.8.0_201 jdk1.8
2.3、将JDK添加到环境变量中
# vi /etc/profile
在文件末尾添加以下内容：
#java env
export JAVA_HOME=/opt/app/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
使修改生效：
# source /etc/profile
验证安装是否成功：
# java -version
如上图所示，则代表安排成功
三、从节点配置防火墙
启动9200、9300端口
# vi /etc/sysconfig/iptables
添加以下内容：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9300 -j ACCEPT
重启防火墙
# service iptables restart
四、服务端安装Elasticsearch
4.1、将Elasticsearch放到 tools目录下并解压
把elasticsearch-6.3.2.tar.gz上传到/opt/tools目录下，解压到/opt/app目录下
# cd /opt/tools
# tar -zxvf elasticsearch-6.3.2.tar.gz -C /opt/app/
把解压出来的目录改名为elasticsearch
# cd /opt/app
# mv elasticsearch-6.3.2 elasticsearch
4.2、创建数据和日志目录
# cd /opt/
# mkdir elk
# cd elk
# mkdir data
# mkdir logs
4.3、修改ES配置文件
# cd /opt/app/elasticsearch/
# vi config/elasticsearch.yml
把里面的内容替换为：
cluster.name: dzjk-es
node.name: es-node1
cluster.initial_master_nodes: [es-node1]
path.data: /opt/elk/data
path.logs: /opt/elk/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: ip
http.port: 9200
discovery.zen.ping.unicast.hosts: ["ip:9300"]
http.cors.enabled: true
http.cors.allow-origin: "*"
注意：以上内容的两处ip替换为Linux服务器的IP
4.4、JVM调优
# vi /opt/app/elasticsearch/config/jvm.options
把xms和xmx设置为物理内存的一半：
-Xms8g
-Xmx8g
4.5、新建es专用用户并授权
# groupadd elsearch
# useradd elsearch -g elsearch -p elasticsearch
把es安装目录授权给elsearch用户
# cd /opt/app/
# chown -R elsearch:elsearch ./elasticsearch
把elk数据和日志目录elsearch用户
# chown -R elsearch:elsearch /opt/elk
4.6、将es添加到环境变量中
# vi /etc/profile
在文件末尾添加以下内容：
#elasticsearch env
export ES_HOME=/opt/app/elasticsearch
export PATH=$PATH:$ES_HOME/bin
使修改生效：
# source /etc/profile
4.7、系统优化
# vi /etc/security/limits.conf
在文件末尾添加以下内容：（同时打开文件数和进行数）
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
# vi /etc/security/limits.d/20-nproc.conf
添加以下内容：
elsearch soft nproc 65536
# vi /etc/sysctl.conf
在文件末尾添加以下内容：
fs.file-max = 655360
vm.max_map_count = 262144
马上生效：
# sysctl -p
如果启动报错：
max file size [67108864] for user [elsearch] is too low, increase to [unlimited]
#切换root用户，执行下面命令
ulimit -f unlimited
永久解决：
vi /etc/security/limits.conf
加上下面的语句
elsearch - fsize unlimited
注意：/etc/profile 下面是否设置了ulimit -f 1024000，否则不生效
4.8、启动es
切换到elsearch用户
# su - elsearch
控制台方式启动：
# elasticsearch
后台方式启动：
# elasticsearch -d
root用户下切换用户后台方式启动：
# su - elsearch -c "/opt/app/elasticsearch/bin/elasticsearch -d"
4.9、测试验证
curl <http://ip:9200>
注意：以上ip替换为Linux服务器的IP
或者在浏览器访问：http://ip:9200/_search?pretty
注意：以上ip替换为Linux服务器的IP
4.10、安装最新版es-7.10.0
1.安装jdk11，安装方式与上面的jdk8相同
# vi /etc/profile
在文件末尾添加以下内容：
#java11 env
export JAVA_HOME2=/opt/app/jdk11
export PATH=$PATH:$JAVA_HOME2/bin
使修改生效：
# source /etc/profile
把jdk11安装目录授权给elsearch用户
# cd /opt/app/
# chown -R elsearch:elsearch ./jdk11
2. 解压es后，修改es的配置为使用jdk11
# vi /opt/app/elasticsearch/bin/elasticsearch-env
3. 启动新版es
切换到elsearch用户
# su - elsearch
控制台方式启动：
# elasticsearch
后台方式启动：
# elasticsearch -d
root用户下切换用户后台方式启动：
# su - elsearch -c "/opt/app/elasticsearch/bin/elasticsearch -d"
验证是否启动成功：
curl <http://ip:9200>
4.11、添加用户权限
1.添加权限配置：
# cd /opt/app/elasticsearch/
# vi config/elasticsearch.yml
添加内容：
cluster.initial_master_nodes: [es-node1]
## 加密方式
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
2. 重启es让配置生效
# su - elsearch -c "/opt/app/elasticsearch/bin/elasticsearch -d"
3. 执行命令设置超级管理员用户的密码
cd /opt/app/elasticsearch
./bin/elasticsearch-setup-passwords interactive
然后输入密码：elastic（多次一样即可）
4. 创建自定义用户
curl -XPOST -u elastic 'ip:9200/_xpack/security/user/esUser' -H "Content-Type: application/json" -d '{
"password" : "es12qw!@P@ssw0rd",
"full_name" : "es user",
"email" : "test@test",
"roles" : [ "superuser" ],
"metadata" : {
"intelligence" : 7
}
}'
5. 测试连接
Linux测试：（-u用刚才新加的用户密码访问）
curl http://ip:9200 -u esUser:dbPassw0rd
浏览器测试：
使用es-heads输入http://ip:9200/ 会提示填写账号密码，把刚刚设置的esUser，dbPassw0rd填写完连接即可
6. springboot使用es的配置如下：
Spring:
elasticsearch:
rest:
uris: ip:9200
username: esUser
password: dbPassw0rd
4.12、添加es防火墙ip白名单
修改防火墙：
vi /etc/service/iptables
把原9200和9300端口开放的两条规则前面添加#号注释：即变成
#-A INPUT -p tcp -m state --state NEW -m tcp --dport 9200 -j ACCEPT
#-A INPUT -p tcp -m state --state NEW -m tcp --dport 9300 -j ACCEPT
在COMMIT前添加以下内容：
-A INPUT -s 172.29.0.128 -p tcp --dport 9200 -j ACCEPT
-A INPUT -s 172.29.0.128 -p tcp --dport 9300 -j ACCEPT
-A INPUT -s 172.0.29.133 -p tcp --dport 9200 -j ACCEPT
-A INPUT -s 172.0.29.133 -p tcp --dport 9300 -j ACCEPT
保存退出
重启防火墙：
service iptables restart
五、Elasticdump数据迁移
5.1、安装nodejs
把node官方连接nodejs.org/zh-cn/downl…
# tar -xf node-v14.15.4-linux-x64.tar.xz
注：(无法用tar解压的，先自己本地解压成xxx.tar)
# mv node-v14.15.4-linux-x64 /usr/local/node
# cd /usr/bin #切换到环境变量目录下
# ln -s /usr/local/node/bin/node node #添加软连接
# ln -s /usr/local/node/bin/npm npm
# node -v #查看版本，验证是否安装成功\
# npm-v
5.2、安装Elasticdump
# npm install elasticdump -g
#添加软连接
# ln -s /usr/local/node/lib/node_modules/elasticdump/bin/elasticdump /usr/bin/elasticdump
#添加软连接
# ln -s /usr/local/node/lib/node_modules/elasticdump/bin/multielasticdump /usr/bin/multielasticdump
#验证
# elasticdump --help
如：无法连网安装，找一个同样环境的联网机器，虚拟机也可以，用来拷贝Elasticdump模块缓存
安装好npm和node以后，npm install elasticdump -g。
安装完成后输入命令查看缓存目录位置：
npm config get cache ==> /root/.npm
将.npm 打包并拷贝出来
# cd /root/
# tar -cf npm-cache.tar .npm/
传输到离线机器上的/root目录下面：
#tar -xf /root/npm-cache.tar
# npm install --cache ./npm-cache --optional --cache-min 99999999999 --shrinkwrap false elasticdump
#添加软连接
# ln -s /root/node_modules/elasticdump/bin/elasticdump /usr/bin/elasticdump
#添加软连接
# ln -s /root/node_modules/elasticdump/bin/multielasticdump /usr/bin/multielasticdump
#验证
# elasticdump --help
5.3、迁移数据
ES导出 数据 到本地JSON文件 ：
#格式：elasticdump --input {protocol}://{host}:{port}/{index} --output ./test_index.json
#例子：将ES中的test_index 中的索引导出
#导出当前索引的mapping结构
# elasticdump --input http://user:password@ip:9200/test_index --output ./test_index_mapping.json --type=mapping
#导出当前索引下的所有真实数据
# elasticdump --input http://user:password@ip:9200/test_index --output ./test_index.json --type=data
#上面导出的两个文件都是在导入到ES中所需要的，一个是mapping文件，另外一个是数据，当然mapping也可以自己手动建立
本地JSON文件导入到ES中：
通过上面导出，已经导出了两个文件，一个是数据文件，一个是mapping文件。
#创建索引
# curl -XPUT <http://ip:9200/test_index> -u esUser:dbPassw0rd
#导入mapping
# elasticdump --input ./test_index_mapping.json --output http://user:password@ip:9200/ --type=mapping
#导入data数据
# elasticdump --input ./test_index.json --output http://user:password@ip:9200/ --type=data
好了，以上就是linux部署elasticsearch，迁移elasticsearch数据的全过程了，就是这样了！！！^_^
今天就先到这里了，溜了溜了溜了！！！^_^
