linux的zookeeper集群安装及节点动态扩展

953 阅读6分钟

「这是我参与2022首次更文挑战的第26天,活动详情查看:2022首次更文挑战

zookeeper 集群模式

Zookeeper 集群模式一共有三种类型的角色

Leader: 处理所有的事务请求(写请求),可以处理读请求,集群中只能有一个Leader

Follower:只能处理读请求,同时作为 Leader的候选节点,即如果Leader宕机,Follower节点要参与到新的Leader选举中,有可能成为新的Leader节点。

Observer:只能处理读请求。不能参与选举

image.png

Zookeeper集群模式安装

本例搭建的是伪集群模式,即一台机器上启动四个zookeeper实例组成集群,真正的集群模式无非就是实例IP地址不同,搭建方法没有区别

Step1:配置JAVA环境

检验环境:保证是jdk7 及以上即可

java -version

Step2:下载并解压zookeeper

cd /usr/local
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz

Step3:重命名 zoo_sample.cfg文件

cp conf/zoo_sample.cfg conf/zoo-1.cfg

Step4:修改配置文件zoo-1.cfg,原配置文件里有的,修改成下面的值,没有的则加上

# vim conf/zoo-1.cfg
dataDir=/usr/local/data/zookeeper-1
clientPort=2181
server.1=127.0.0.1:2001:3001:participant// participant 可以不用写,默认就是participant 
server.2=127.0.0.1:2002:3002:participant 
server.3=127.0.0.1:2003:3003:participant 
server.4=127.0.0.1:2004:3004:observer

配置说明

  • tickTime:用于配置Zookeeper中最小时间单位的长度,很多运行时的时间间隔都是使用tickTime的倍数来表示的。
  • initLimit:该参数用于配置Leader服务器等待Follower启动,并完成数据同步的时间。Follower服务器再启动过程中,会与Leader建立连接并完成数据的同步,从而确定自己对外提供服务的起始状态。Leader服务器允许Follower再initLimit 时间内完成这个工作。
  • syncLimit:Leader 与Follower心跳检测的最大延时时间
  • dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
  • clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
  • server.A=B:C:D:E 其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。如果需要通过添加不参与集群选举以及事务请求的过半机制的 Observer节点,可以在E的位置,添加observer标识。

Step4:再从zoo-1.cfg复制三个配置文件zoo-2.cfg,zoo-3.cfg和zoo-4.cfg,只需修改dataDir和clientPort不同即可

cp conf/zoo1.cfg conf/zoo2.cfg 
cp conf/zoo1.cfg conf/zoo3.cfg 
cp conf/zoo1.cfg conf/zoo4.cfg 

vim conf/zoo2.cfg 
dataDir=/usr/local/data/zookeeper2 
clientPort=2182

vim conf/zoo3.cfg
dataDir=/usr/local/data/zookeeper3 
clientPort=2183 

vim conf/zoo4.cfg 
dataDir=/usr/local/data/zookeeper4 
clientPort=2184

Step5:标识Server ID

创建四个文件夹/usr/local/data/zookeeper-1,/usr/local/data/zookeeper-2,/usr/local/data/zookeeper-3,/usr/local/data/zookeeper-4,在每个目录中创建文件myid 文件,写入当前实例的server id,即1,2,3,4

cd /usr/local/data/zookeeper-1 
vim myid
1 

cd /usr/local/data/zookeeper-2 
vim myid
2 

cd /usr/local/data/zookeeper-3
vim myid 
3 

cd /usr/local/data/zookeeper-4 
vim myid 
4

Step6:启动三个zookeeper实例

bin/zkServer.sh start conf/zoo1.cfg 
bin/zkServer.sh start conf/zoo2.cfg 
bin/zkServer.sh start conf/zoo3.cfg

image.png

Step7:检测集群状态

可以直接用命令 zkServer.sh status conf/zoo1.cfg 进行每台服务的状态查询

image.png 可以看到2182被选举为了leader。

连接

可以通过

bin/zkCli.sh ‐server ip1:port1,ip2:port2,ip3:port3

也可以直接连接某一台,缺点就是如果连接的当前一台挂了,客户端就是丢失连接状态。

集群总结

zookeeper集群节点数量最好是奇数,这样在挂掉一台之后还可以进行使用。当然使用偶数个节点也不是不可以。

注意\color{red}{注意} :集群节点奇数需要节点是participant,不能是observer.因为observer不参与集群选举,以及事务相关都不参与。

zookeeper 集群动态配置

Zookeeper 3.5.0 以前,Zookeeper集群角色要发生改变的话,只能通过停掉所有的Zookeeper服务,修改集群配置,重启服务来完成,这样集群服务将有一段不可用的状态,为了应对高可用需求,Zookeeper 3.5.0 提供了支持动态扩容/缩容的 新特性。但是通过客户端API可以变更服务端集群状态是件很危险的事情,所以在zookeeper 3.5.3 版本要用动态配置,需要开启超级管理员身份验证模式 ACLs。如果是在一个安全的环境也可以通过配置 系统参数 -Dzookeeper.skipACL=yes 来避免配置维护acl 权限配置。

配置操作权限

配置管理员权限

获得操作秘钥

echo ‐n jony:111111 | openssl dgst ‐binary ‐sha1 | openssl base64

执行以上命令获得秘钥:
U54SpOkCB30hqXUXNdfdldolTKw= image.png

修改zkServer.sh文件

vim zkServer.sh

添加如下代码

-Dzookeeper.DigestAuthenticationProvider.superDigest=jony:U54SpOkCB30hqXUXNdfdldolTKw=

image.png

配置动态文件

修改配置 zoo1.cfg

注意这里去除了端口号,添加了

reconfigEnabled : 设置为true 开启动态配置

dynamicConfigFile : 指定动态配置文件的路径

image.png 根据以上修改内容依次修改 zoo2.cfg/zoo3.cfg.注意修改文件路径(之前配置的固定集群最下面的配置,记得注释掉)

创建文件 zoo_replicated1.cfg.dynamic

vim /usr/local/apache-zookeeper-3.6.3-bin/conf/replicated/zoo_replicated1.cfg.dynamic

添加如下内容

server.1=192.168.253.131:2001:3001:participant;192.168.253.131:2181
server.2=192.168.253.131:2002:3002:participant;192.168.253.131:2182
server.3=192.168.253.131:2003:3003:participant;192.168.253.131:2183

动态配置文件,加入集群信息

server.A=B.C.D.E;F

A: 服务的唯一标识

B: 服务对应的IP地址,

C: 集群通信端口

D: 集群选举端口

E: 角色, 默认是 participant,即参与过半机制的角色,选举,事务请求过半提交,还有一个是

observer, 观察者,不参与选举以及过半机制。

之后是一个分号,一定是分号,

F:服务IP:端口

依次启动三个服务,并查看状态

挨个启动

./bin/zkServer.sh start conf/zoo1.cfg

image.png

挨个查看状态

./bin/zkServer.sh status conf/zoo1.cfg

image.png

连接服务,并动态添加减少节点

连接任意一台服务

./bin/zkCli.sh -server 192.168.0.253.131:2181

查看集群状态

config

image.png

授权方式登录

addauth digest jony:111111

删除节点

reconfig -remove 3

image.png

添加节点

reconfig -add 3=192.168.253.131:2003:3003;192.168.253.131:2183

image.png

动态添加第四个节点

按照上面的操作步骤,修改zoo.cfg配置文件,然后启动第四个节点

reconfig -add 4=192.168.253.131:2004:3004;192.168.253.131:2184

image.png

自此,zookeeper集群就实现了动态增删节点的操作。不论是删减再也不用担心影响线上服务收到影响啦。