zooKeeper学习笔记

用户235326578095
192 阅读7分钟

​

1.分布式技术**-Zookeeper概述**

美团，饿了么，淘宝，58同城等等应用都是zookeeper的现实生活版

我开了个饭店，如何才能让大家都能吃到我们的饭菜？需要入驻美团，这样大家就可以在美团

app中看到我的饭店，下订单，从而完成一次交易

Zookeeper是一个开源的分布式（多台服务器干一件事）的，为分布式应用提供协调服务的

Apache项目。

在大数据技术生态圈中，zookeeper（动物管理员），Hadoop（大象），Hive（蜜蜂），

Pig（猪）等技术

1.2 工作机制

Zookeeper从设计模式角度来理解：是一个基于观察者模式（一个人干活，有人盯着他）设计的分

布式服务管理框架

它负责 存储 和 管理 大家都关心的数据

然后接受观察者的注册，一旦这些数据的发生变化

Zookeeper就将负责通知已经注册的那些观察者做出相应的反应

从而实现集群中类似Master/Slave管理模式

Zookeeper = 文件系统 + 通知机制

​

  1. 商家营业并入驻

  2. 获取到当前营业的饭店列表

  3. 服务器节点下线

  4. 服务器节点上下线事件通知

  5. 重新再去获取服务器列表，并注册监听

1.3特点

分布式和集群的区别？

无论分布式和集群，都是很多人在做事情。具体区别如下：

例如：我有一个饭店，越来越火爆，我得多招聘一些工作人员

分布式：招聘1个厨师，1个服务员，1个前台，三个人负责的工作不一样，但是最终目

的都是为饭店工作

集群：招聘3个服务员，3个人的工作一样

  1. 是一个leader和多个follower来组成的集群（狮群中，一头雄狮，N头母狮）

  2. 集群中只要有半数以上的节点存活，Zookeeper就能正常工作（5台服务器挂2台，没问题；4台服

务器挂2台，就停止）

  1. 全局数据一致性，每台服务器都保存一份相同的数据副本，无论client连接哪台server，数据都是

一致的

  1. 数据更新原子性，一次数据要么成功，要么失败（不成功便成仁）

  2. 实时性，在一定时间范围内，client能读取到最新数据

  3. 更新的请求按照顺序执行，会按照发送过来的顺序，逐一执行（发来123，执行123，而不是321

或者别的）

1.4 数据结构

​

ZooKeeper数据模型的结构与linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一

个ZNode（ZookeeperNode）。

每一个ZNode默认能够存储1MB的数据（元数据），每个ZNode的路径都是唯一的

元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about

data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、

资源查找、文件记录等功能

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载

均衡等

1.5统一命名服务

在分布式环境下，通常需要对应用或服务进行统一的命名，便于识别

例如：服务器的IP地址不容易记，但域名相比之下却是很容易记住

​

 

分布式环境下，配置文件做同步是必经之路

1000台服务器，如果配置文件作出修改，那一台一台的修改，运维人员肯定会疯，如何做到修改

一处就快速同步到每台服务器上

​

 

将配置管理交给Zookeeper

1、将配置信息写入到Zookeeper的某个节点上

2、每个客户端都监听这个节点

3、一旦节点中的数据文件被修改，Zookeeper这个话匣子就会通知每台客户端服务器

1.6 服务器节点动态上下线

客户端能实时获取服务器上下线的变化

在美团APP上实时可以看到商家是否正在营业或打样

 ​

 1.7 软负载均衡

​

2.配置zookeeper

解压

[root@localhost opt]# tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz

 1. 在/opt/zookeeper/这个目录上创建zkData和zkLog目录

[root@localhost zookeeper]# mkdir zkData
 [root@localhost zookeeper]# mkdir zkLog

  1. 进入/opt/zookeeper/conf这个路径，复制一份 zoo_sample.cfg 文件并命名为 zoo.cfg
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

  1. 编辑zoo.cfg文件，修改dataDir路径
dataDir=/opt/zookeeper/zkData 
dataLogDir=/opt/zookeeper/zkLog

2.1配置参数详解

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就

是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

initLimit =10：LF初始通信时限

集群中的Follower跟随者服务器与Leader领导者服务器之间，启动时能容忍的最多心跳数

10*2000（10个心跳时间）如果领导和跟随者没有发出心跳通信，就视为失效的连接，领导

和跟随者彻底断开

syncLimit =5：LF同步通信时限

集群启动后，Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit *

tickTime->10秒，Leader就认为Follwer已经死掉，会将Follwer从服务器列表中删除

dataDir：数据文件目录+数据持久化路径

主要用于保存Zookeeper中的数据。

dataLogDir：日志文件目录

clientPort =2181：客户端连接端口

监听客户端连接的端口。

3. Zookeeper****内部原理

3.1 选举机制（面试重点）

半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器

虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为

Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的

​

1. Server1先投票，投给自己，自己为1票，没有超过半数，根本无法成为leader，顺水推舟将票数 投给了id比自己大的Server2

2. Server2也把自己的票数投给了自己，再加上Server1给的票数，总票数为2票，没有超过半数，也 无法成为leader，也学习Server1，顺水推舟，将自己所有的票数给了id比自己大的Server3

3. Server3得到了Server1和Server2的两票，再加上自己投给自己的一票。3票超过半数，顺利成为 leader

4. Server4和Server5都投给自己，但是无法改变Server3的票数，只好听天由命，承认Server3是

leader

3.2 节点类型

持久型（persistent）：

持久化目录节点（persistent）客户端与zookeeper断开连接后，该节点依旧存在

持久化顺序编号目录节点（persistent_sequential）客户端与zookeeper断开连接后，该节

点依旧存在，创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调

递增的计数器，由父节点维护，例如：Znode001，Znode002...

短暂型（ephemeral）：

临时目录节点（ephemeral）客户端和服务器端断开连接后，创建的节点自动删除

临时顺序编号目录节点（ephemeral_sequential）客户端与zookeeper断开连接后，该节点

被删除，创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增

的计数器，由父节点维护，例如：Znode001，Znode002...

注意：序号是相当于i++，和数据库中的自增长类似

3.3 监听器原理（面试重点）

​

  1. 在main方法中创建Zookeeper客户端的同时就会创建两个线程，一个负责网络连接通信，一个负

责监听

  1. 监听事件就会通过网络通信发送给zookeeper

  2. zookeeper获得注册的监听事件后，立刻将监听事件添加到监听列表里

  3. zookeeper监听到 数据变化 或 路径变化，就会将这个消息发送给监听线程

常见的监听

  1. 监听节点数据的变化：get path [watch]

  2. 监听子节点增减的变化：ls path [watch]

  3. 监听线程就会在内部调用process方法（需要我们实现process方法内容）

3.4 写数据流程

 

​

  1. Client 想向 ZooKeeper 的 Server1 上写数据，必须的先发送一个写的请求

  2. 如果Server1不是Leader，那么Server1 会把接收到的请求进一步转发给Leader。

  3. 这个Leader 会将写请求广播给各个Server，各个Server写成功后就会通知Leader。

  4. 当Leader收到半数以上的 Server 数据写成功了，那么就说明数据写成功了。

  5. 随后，Leader会告诉Server1数据写成功了。

  6. Server1会反馈通知 Client 数据写成功了，整个流程结束

4. Zookeeper****实战（开发重点）

在/opt/zookeeper/zkData创建myid文件

[root@localhost zkData]# vim myid

打开zoo.cfg文件，增加如下配置

#######################cluster##########################
 server.1=192.168.204.141:2888:3888
 server.2=192.168.204.142:2888:3888
 server.3=192.168.204.143:2888:3888

 

配置参数解读 server.A=B:C:D

A：一个数字，表示第几号服务器

集群模式下配置的/opt/zookeeper/zkData/myid文件里面的数据就是A的值

B：服务器的ip地址

C：与集群中Leader服务器交换信息的端口

D：选举时专用端口，万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选

出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

4.节点的怎删改查

首先创建一个客户端

 //zookeeper集群的ip
    private String  connStr="192.168.58.129:2181,192.168.58.130:2181,192.168.58.131:2181";

    //session超时的时间
    private int session=60000;

    //zooker客户端对象
    private  ZooKeeper zkClient;

    @Before
    public void init() throws IOException {
        zkClient = new ZooKeeper(connStr, session, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                System.out.println("得到监听反馈");
                System.out.println(watchedEvent.getType());
            }
        });

节点的添加 参数一就是要创建的节点，创建节点也是一样的套路，参数二就是值

 //创建节点
    @Test
    public void  createtest() throws InterruptedException, KeeperException {

        //参数一是要创建的目录，参数二就是创建的内容，参数三居室权限，参数4就是类型
        String s = zkClient.create("/xiaoyu/xiaoyu2", "xiaoyu666".getBytes(),
                ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

        System.out.println( "已创建节点="+s);


    }

获取节点的值

//获取节点上的值
    @Test
    public void getjiedian() throws InterruptedException, KeeperException {
   //第三个参数就是获取到文件时返回的

        byte[] data = zkClient.getData("/xiaoyu", false, new Stat());

        String data1 = new String(data);
        System.out.println("获取到的节点值为："+data1);

    }

查看子节点 调用这个getChildren方法她会返回一个节点集合然后遍历他就完事了

 //查看子节
    @Test
    public void getChildren() throws InterruptedException, KeeperException {
        List<String> children = zkClient.getChildren("/usa/niuyue/huashengdun", false);
        for (String child : children) {
            System.out.print(child);
        }

        System.out.println(children);
    }

监听子节点

在第二个参数那里改成true即可，一旦节点数据变化或者子节点有变化就会给出反馈

  //监听节点变化
    @Test
    public  void watchNode() throws InterruptedException, KeeperException, IOException {
      //监听节点
        List<String> children = zkClient.getChildren("/usa", true);
        for (String child : children) {
            System.out.println(child);
        }
        System.out.println(children);
        //让线程等待下去
        System.in.read();

zookeeper的分布式锁

锁：我们在多线程中接触过，作用就是让当前的资源不会被其他线程访问！

我的日记本，不可以被别人看到。所以要锁在保险柜中 当我打开锁，将日记本拿走了，别人才能使用这个保险柜

在zookeeper中使用传统的锁引发的 “羊群效应” ：1000个人创建节点，只有一个人能成功，999

人需要等待！

羊群是一种很散乱的组织，平时在一起也是盲目地左冲右撞，但一旦有一只头羊动起来，其他的羊

也会不假思索地一哄而上，全然不顾旁边可能有的狼和不远处更好的草。羊群效应就是比喻人都有

一种从众心理，从众心理很容易导致盲从，而盲从往往会陷入骗局或遭到失败。

​

 

1. 所有请求进来，在/lock下创建 临时顺序节点 ，放心，zookeeper会帮你编号排序

2. 判断自己是不是/lock下最小的节点

1. 是，获得锁（创建节点）

2. 否，对前面小我一级的节点进行监听

3. 获得锁请求，处理完业务逻辑，释放锁（删除节点），后一个节点得到通知（比你年轻的死了，你

成为最嫩的了）

4. 重复步骤2

idea代码

1.首先我们在虚拟机里面配置了一下nginx来模拟并发的操作

​

2.然后进行线程模拟

​

3.配置锁

内部互斥锁会根据传入过来的商品id创建一个商品节点，然后在节点下面创建暂存有序的节点进行监控，从而达到锁

 private String  connectString="192.168.58.129:2181,192.168.58.130:2181,192.168.58.131:2181";

    @RequestMapping("/product/reduce")
    public Object reduce(int id)throws Exception{
        // 重试策略 （1000毫秒试1次，最多试3次）
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3);
        //1.创建curator工具对象
        CuratorFramework client = CuratorFrameworkFactory.newClient(connectString, retryPolicy);
        client.start();
        //2.根据工具对象创建“内部互斥锁 这里第二个参数就是路径
        InterProcessMutex lock=new InterProcessMutex(client,"/product_"+id);
       //加锁
        try {
            lock.acquire();
            prodoctService.reduceStock(id);
        } finally {
            //释放锁
              lock.release();
        }


        return "ok";

    }

 4.进行并发测试

可以看出来，五次请求成功了之后库存就清空了，所以就请求失败了

​

 

 学习中遇到的小问题

1.内存不够用，随便开三台虚拟机就满了

解决：斥巨资买了根内存才解决了，现在速度咔咔猛

2.虚拟机进行远程连接的时候频繁断开

解决：去服务里把VMOMwar虚拟机的服务全部打开

​

3.maven依赖的问题

解决：复制错误信息去网上搜，依赖这个问题不太好排除

4.Nginx配置文件的问题

解决： 1、更改配置判断配置文件是否正确：　　
nginx -t -c /usr/local/nginx/conf/nginx.conf
或者
cd /usr/local/nginx/sbin/nginx -t

       2、重启nginx：　　
kill -HUP 主进程号或进程号文件路径
或者使用
cd /usr/local/nginx/sbin/nginx -s reload

 

\

​

avatar
文章
阅读
粉丝