Java是如何操作Zookeeper的

1,166 阅读9分钟

「这是我参与2022首次更文挑战的第25天,活动详情查看:2022首次更文挑战

Java操作zookeeper有两种方案,一种是利用官方提供的jar包,另外一种是利用Curator,下面分别介绍这两种使用方案,实际项目中建议使用Curator.另外程序中引用的jar包要保持和服务端的zookeeper版本一致,不然会有很多兼容性问题。

Java客户端 jar包

项目构建

zookeeper 官方的客户端没有和服务端代码分离,他们为同一个jar 文件,所以我们直接引入zookeeper的maven即可, 这里版本请保持与服务端版本一致,不然会有很多兼容性的问题

引入包

<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.6.3</version>
</dependency>

连接zookeeper代码

package com.jony.zookeeper.client;

import lombok.extern.slf4j.Slf4j;
import lombok.var;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.concurrent.CountDownLatch;

@Slf4j
public class ZookeeperClientTest {
    private static final String ZK_ADDRESS="192.168.253.131:2181";

    private static final int SESSION_TIMEOUT = 5000;

    private static ZooKeeper zooKeeper;

    private static final String ZK_NODE="/zk-node";
    
    @Test
    public void conn() throws IOException {
        zooKeeper = new ZooKeeper(ZK_ADDRESS, SESSION_TIMEOUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                if (event.getState()== Watcher.Event.KeeperState.SyncConnected &&
                        event.getType()== Watcher.Event.EventType.None){
                    log.info("连接成功!");
                }
            }
        });
    }
}

核心代码:
zooKeeper = new ZooKeeper(ZK_ADDRESS, SESSION_TIMEOUT, new Watcher(){} 通过传入地址,过期时间,以及添加监听,就可以进行zookeeper连接了。

但是,由于Watcher监听是单独另开一个线程,当方法运行完成后,Watcher监听的线程还没返回,因此我们需要让主线程延时等待一下,当Watcher返回结果之后再进行关闭。代码进行改造如下:

package com.jony.zookeeper.client;

import lombok.extern.slf4j.Slf4j;
import lombok.var;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.concurrent.CountDownLatch;

@Slf4j
public class ZookeeperClientTest {
    private static final String ZK_ADDRESS="192.168.253.131:2181";

    private static final int SESSION_TIMEOUT = 5000;

    private static ZooKeeper zooKeeper;

    private static final String ZK_NODE="/zk-node";

    @Test
    public void conn() throws IOException, InterruptedException {
        final CountDownLatch countDownLatch=new CountDownLatch(1);
        zooKeeper = new ZooKeeper(ZK_ADDRESS, SESSION_TIMEOUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                if (event.getState()== Watcher.Event.KeeperState.SyncConnected &&
                        event.getType()== Watcher.Event.EventType.None){
                    log.info("连接成功!");
                    countDownLatch.countDown();
                }
            }
        });
        log.info("连接中....");
        countDownLatch.await();
    }
}

通过添加CountDownLatch来阻止主线程关闭,当Watcher有返回值的时候,再调用countDown()关闭计数,同时主线程关闭。

如何判断连接成功

if(event.getState()== Watcher.Event.KeeperState.SyncConnected && event.getType()== Watcher.Event.EventType.None){
    log.info("success");
}

以上代码为啥这么写呢,我们可以切换到服务端,连接一下,如下:

image.png state的状态为:SyncConnected;type为:None

创建实例方法

image.png 下面是各个参数的解释

标题含义
connectStringZooKeeper服务器列表,由英文逗号分开的host:port字符串组成,每一个都代表一台ZooKeeper机器,如,host1:port1,host2:port2,host3:port3。另外,也可以在connectString中设置客户端连接上ZooKeeper后的根目录,方法是在host:port字符串之后添加上这个根目录,例如,host1:port1,host2:port2,host3:port3/zk-base,这样就指定了该客户端连接上ZooKeeper服务器之后,所有对ZooKeeper的操作,都会基于这个根目录。例如,客户端对/sub-node 的操作,最终创建 /zk-node/sub-node, 这个目录也叫Chroot,即客户端隔离命名空间。
sessionTimeout会话的超时时间,是一个以“毫秒”为单位的整型值。在ZooKeeper中有会话的概念,在一个会话周期内,ZooKeeper客户端和服务器之间会通过心跳检测机制来维持会话的有效性,一旦在sessionTimeout时间内没有进行有效的心跳检测,会话就会失效。
watcherZooKeeper允许客户端在构造方法中传入一个接口 watcher (org.apache. zookeeper.Watcher)的实现类对象来作为默认的 Watcher事件通知处理器。当然,该参数可以设置为null 以表明不需要设置默认的 Watcher处理器。
canBeReadOnly这是一个boolean类型的参数,用于标识当前会话是否支持“read-only(只读)”模式。默认情况下,在ZooKeeper集群中,一个机器如果和集群中过半及以上机器失去了网络连接,那么这个机器将不再处理客户端请求(包括读写请求)。但是在某些使用场景下,当ZooKeeper服务器发生此类故障的时候,我们还是希望ZooKeeper服务器能够提供读服务(当然写服务肯定无法提供)——这就是 ZooKeeper的“read-only”模式。
sessionId和 sessionPasswd分别代表会话ID和会话秘钥。这两个参数能够唯一确定一个会话,同时客户端使用这两个参数可以实现客户端会话复用,从而达到恢复会话的效果。具体使用方法是,第一次连接上ZooKeeper服务器时,通过调用ZooKeeper对象实例的以下两个接口,即可获得当前会话的ID和秘钥:long getSessionId();byte[]getSessionPasswd( );荻取到这两个参数值之后,就可以在下次创建ZooKeeper对象实例的时候传入构造方法了

创建节点

同步创建

@Test
public void createTest() throws KeeperException, InterruptedException {
    //参数 节点名称,节点数据,节点权限,节点类型(持久、临时...)
    String path = zooKeeper.create(ZK_NODE, "data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    log.info("created path: {}",path);
}

异步创建节点

@Test
public void createAsycTest() throws InterruptedException {
    zooKeeper.create("/afff", "data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE,
            CreateMode.PERSISTENT,
            (rc, path, ctx, name) -> log.info("rc  {},path {},ctx {},name {}",rc,path,ctx,name),"context");
    //仅做测试,防止主线程结束
    TimeUnit.SECONDS.sleep(Integer.MAX_VALUE);
}

查询节点、并设置监听

//监听器
Watcher watcher=new Watcher() {
    @SneakyThrows
    @Override
    public void process(WatchedEvent watchedEvent) {
        if (watchedEvent.getType() == Event.EventType.NodeDataChanged) {
            log.info("Path:{}发生了数据变化", watchedEvent.getPath());
            //再次添加监听
            byte[] data = zooKeeper.getData(watchedEvent.getPath(), this, null);

            log.info("数据发生变化:{}",new String(data));
        }
    }
};

@Test
public void getDataWatch() throws InterruptedException, KeeperException, IOException {
    byte[] data = zooKeeper.getData("/afff", watcher, null);
    log.info("原始数据为:{}",new String(data));
    TimeUnit.SECONDS.sleep(Integer.MAX_VALUE);
}

执行getDataWatch方法,然后再客户端修改/afff数据,就可以看到监听器一直在监听数据了

Curator 操作zookeeper

什么是 Curator

Curator 是一套由netflix 公司开源的,Java 语言编程的 ZooKeeper 客户端框架,Curator项目是现在ZooKeeper 客户端中使用最多,对ZooKeeper 版本支持最好的第三方客户端,并推荐使用,Curator 把我们平时常用的很多 ZooKeeper 服务开发功能做了封装,例如 Leader 选举、分布式计数器、分布式锁。这就减少了技术人员在使用 ZooKeeper 时的大部分底层细节开发工作。在会话重新连接、Watch 反复注册、多种异常处理等使用场景中,用原生的 ZooKeeper 处理比较复杂。而在使用 Curator 时,由于其对这些功能都做了高度的封装,使用起来更加简单,不但减少了开发时间,而且增强了程序的可靠性。

Curator 实战

这里我们以 Maven 工程为例,首先要引入Curator 框架相关的开发包,这里为了方便测试引入了junit ,lombok,由于Zookeeper本身以来了 log4j 日志框架,所以这里可以创建对应的log4j配置文件后直接使用。 如下面的代码所示,我们通过将 Curator 相关的引用包配置到 Maven 工程的 pom 文件中,将 Curaotr 框架引用到工程项目里,在配置文件中分别引用了两个 Curator 相关的包,第一个是 curator-framework 包,该包是对 ZooKeeper 底层 API 的一些封装。另一个是 curator-recipes 包,该包封装了一些 ZooKeeper 服务的高级特性,如:Cache 事件监听、选举、分布式锁、分布式 Barrier。

Curator 实践

导入jar包

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-recipes</artifactId>
    <version>5.0.0</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
        </exclusion>
    </exclusions>
</dependency>

会话创建

要进行客户端服务器交互,第一步就要创建会话Curator 提供了多种方式创建会话,比如用静态工厂方式创建:

// 重试策略 
RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3);
CuratorFramework client = CuratorFrameworkFactory.newClient(zookeeperConnectionString, retryPolicy); 
client.start();

或者使用 fluent 风格创建

RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3); 
CuratorFramework client = CuratorFrameworkFactory.builder() 
                .connectString("192.168.128.129:2181") 
                .sessionTimeoutMs(5000) // 会话超时时间 
                .connectionTimeoutMs(5000) // 连接超时时间 
                .retryPolicy(retryPolicy) 
                .namespace("base") // 包含隔离名称 
                .build(); 
client.start();

这段代码的编码风格采用了流式方式,最核心的类是 CuratorFramework 类,该类的作用是定义一个 ZooKeeper 客户端对象,并在之后的上下文中使用。在定义 CuratorFramework 对象实例的时候,我们使用了 CuratorFrameworkFactory 工厂方法,并指定了 connectionString 服务器地址列表、retryPolicy 重试策略 、sessionTimeoutMs 会话超时时间、connectionTimeoutMs 会话创建超时时间。下面我们分别对这几个参数进行讲解:

connectionString:服务器地址列表,在指定服务器地址列表的时候可以是一个地址,也可以是多个地址。如果是多个地址,那么每个服务器地址列表用逗号分隔, 如 host1:port1,host2:port2,host3;port3 。

retryPolicy:重试策略,当客户端异常退出或者与服务端失去连接的时候,可以通过设置客户端重新连接 ZooKeeper 服务端。而 Curator 提供了 一次重试、多次重试等不同种类的实现方式。在 Curator 内部,可以通过判断服务器返回的 keeperException 的状态代码来判断是否进行重试处理,如果返回的是 OK 表示一切操作都没有问题,而 SYSTEMERROR 表示系统或服务端错误。

策略名称描述
ExponentialBackoffRetry重试一组次数,重试之间的睡眠时间增加
RetryNTimes重试最大次数
RetryOneTime只重试一次
RetryUntilElapsed在给定的时间结束之前重试

超时时间:Curator 客户端创建过程中,有两个超时时间的设置。一个是 sessionTimeoutMs 会话超时时间,用来设置该条会话在 ZooKeeper 服务端的失效时间。另一个是 connectionTimeoutMs 客户端创建会话的超时时间,用来限制客户端发起一个会话连接到接收 ZooKeeper 服务端应答的时间。sessionTimeoutMs 作用在服务端,而 connectionTimeoutMs 作用在客户端。

创建节点

创建节点的方式如下面的代码所示,回顾我们之前课程中讲到的内容,描述一个节点要包括节点的类型,即临时节点还是持久节点、节点的数据信息、节点是否是有序节点等属性和性质。

@Test
public void testCreate() throws Exception {

    CuratorFramework curatorFramework = getCuratorFramework();
    String forPath = curatorFramework
            .create()
            .withProtection()
            .withMode(CreateMode.EPHEMERAL_SEQUENTIAL).
                    forPath("/curator-node", "some-data".getBytes());
    log.info("curator create node :{}  successfully.", forPath);


}

在 Curator 中,可以使用 create 函数创建数据节点,并通过withMode 函数指定节点类型(持久化节点,临时节点,顺序节点,临时顺序节点,持久化顺序节点等),默认是持久化节点,之后调用 forPath 函数来指定节点的路径和数据信息。

一次性创建带层级结构的节点

@Test
public void testCreateWithParent() throws Exception {
    CuratorFramework curatorFramework = getCuratorFramework();

    String pathWithParent = "/node-parent/sub-node-1";
    String path = curatorFramework.create().creatingParentsIfNeeded().forPath(pathWithParent);
    log.info("curator create node :{}  successfully.", path);
}

获取数据

@Test
public void testGetData() throws Exception {
    CuratorFramework curatorFramework = getCuratorFramework();

    byte[] bytes = curatorFramework.getData().forPath("/curator-node");
    log.info("get data from  node :{}  successfully.", new String(bytes));
}

更新节点

我们通过客户端实例的 setData() 方法更新 ZooKeeper 服务上的数据节点,在setData 方法的后边,通过 forPath 函数来指定更新的数据节点路径以及要更新的数据。

@Test
public void testSetData() throws Exception {
    CuratorFramework curatorFramework = getCuratorFramework();

    curatorFramework.setData().forPath("/curator-node", "changed!".getBytes());
    byte[] bytes = curatorFramework.getData().forPath("/curator-node");
    log.info("get data from  node /curator-node :{}  successfully.", new String(bytes));
}

删除节点

@Test
public void testDelete() throws Exception {
    CuratorFramework curatorFramework = getCuratorFramework();

    String pathWithParent = "/node-parent";
    curatorFramework.delete().guaranteed().deletingChildrenIfNeeded().forPath(pathWithParent);
}

guaranteed:该函数的功能如字面意思一样,主要起到一个保障删除成功的作用,其底层工作方式是:只要该客户端的会话有效,就会在后台持续发起删除请求,直到该数据节点在 ZooKeeper 服务端被删除。

deletingChildrenIfNeeded:指定了该函数后,系统在删除该数据节点的时候会以递归的方式直接删除其子节点,以及子节点的子节点。