那些年 分布式环境ID生成方案

808 阅读5分钟

分布式ID方案

一、UUID(唯一通用识别码)(不推荐)

1、使用 (在分布式系统中,所有元素都不需要通过中央控制端来判断数据唯一性。)

UUID.randomUUID().toString().replaceAll("-","");

组成: 当前日期+时间+时钟序列+机器识别号(Mac地址或其他)。

格式: 32位字符

2、优点

生成简单,本地生成无网络消耗,具有唯一性

3、缺点

a、无序的字符串,不具备自增特性

b、没有具体的业务含义

c、长度过长,16字节,128位。MySQL对于36位长度的字符串,存储以及查询对数据库的性能消耗较大,MySQL明确建议主键越短越好,作为数据库主键,UUID的无序性会导致数据位置频繁变动,严重影响性能。

备注:方案二和三 都使用数据库

关系型数据库都实现数据库自增ID;MySQL通过AUTO_INCREMENT实现、Oracle通过Sequence序列实现。 在数据库集群环境下,不同数据库节点可设置不同起步值、相同步长来实现集群下生成全局唯一、递增ID。

_格式: 数字
_

二、数据库自增ID

1、使用

CREATE DATABASE`SEQ_ID`; 

CREATE TABLE SEQID.SEQUENCE_ID ( id bigint(20) unsignedNOT NULL auto_increment, value char(10) NOT NULL default'', PRIMARY KEY (id), ) ENGINE=MyISAM; 

 insert into SEQUENCE_ID(value) VALUES ('values');

2、优点

实现简单,ID单调递增,数值类型查询速度快

3、缺点

a、并发高,访问量激增时MySQL本身就是系统的瓶颈

b、DB单点存在宕机风险,无法扛住高并发场景

三、数据库多主模式

1、使用

对于多机器情况,需要避免重复id的生成解决方案: 设置 起始值 和 自增步长配置:MySQL_1 配置:set @@autoincrementoffset = 1; -- 起始值set @@autoincrementincrement = 2; -- 步长MySQL_2 配置:set @@autoincrementoffset = 2; -- 起始值set @@autoincrementincrement = 2; -- 步长这样两个MySQL实例的自增ID分别就是:13579 246810

2、优点

解决DB单点问题

3、缺点

a、不利于后续扩容,在其他集群机器起始值和自增步长确定好之后,新增机器会比较麻烦

b、单个数据库自身压力还是大,高并发的情况下对数据库自身压力还是大

四、号段模式

1、使用

当前主流实现方式之一从数据库批量获取自增ID,每次从数据库取出一个号段范围,例如一次取(11000],代表1000个ID,具体的业务服务将本号段 加载到内存中使用。CREATE TABLE idgenerator ( id int(10) NOTNULL, maxid bigint(20) NOT NULL COMMENT '当前最大id',step int(20) NOT NULL COMMENT '号段的布长',biztype int(20) NOT NULL COMMENT '业务类型', version int(20) NOT NULL COMMENT '版本号', PRIMARY KEY (id) ) biztype :代表不同业务类型max_id :当前最大的可用idstep :代表号段的长度version :是一个乐观锁,每次都更新version,保证并发时数据的正确性等这批号段ID用完,再次向数据库申请新号段,对maxid字段做一次update操作,update maxid= maxid + step,update成功则说明新号段获取成功,新的号段范围是(maxid ,max_id +step]。update idgenerator set maxid = #{maxid+step}, version = version + 1 where version = # {version} and biztype = XXX使用此方法可以解决大部份问题在单机使用完获取的号段号码后,再去数据库获取即可

2、优点

不强依赖数据库,不会频繁访问数据库,对数据库压力比较小

3、

五、Redis

1、使用

利用 redis 的 incr 命令实现ID的原子性自增127.0.0.1:6379> set seq_id 1 // 初始化自增ID为1OK127.0.0.1:6379> incr seq_id // 增加1,并返回递增后的数值(integer) 2

格式: 12位自由组合

2、优点

使用集群,解决数据库生成ID的性能问题

3、缺点

持久化问题。RDB方式,挂掉重启后会出现ID重复的情况。

六、雪花算法

1、使用

时间戳 + 工作机器id + 序列号

TwitterSnowflake生成的是Long类型的ID,一个Long类型占8个字节,每个字节占8比特,也就是说一个Long类型占64个比特。Snowflake ID组成结构:正数位(占1比特)+ 时间戳(占41比特)+ 机器ID(占5比特)+ 数据中心(占5比特)+ 自增值(占12比特),总共64比特组成的一个Long类型。第一个bit位(1bit):Java中long的最高位是符号位代表正负,正数是0,负数是1,一般生成ID都为正数,所以默认为0。时间戳部分(41bit):毫秒级的时间,不建议存当前时间戳,而是用(当前时间戳 - 固定开始时间戳)的差值,可以使产生的ID从更小的值开始;41位的时间戳可以使用69年,(1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69年工作机器id(10bit):也被叫做workId,这个可以灵活配置,机房或者机器号组合都可以。序列号部分(12bit),自增值支持同一毫秒内同一个节点可以生成4096个ID

根据这个算法的逻辑,只需要将这个算法用Java语言实现出来,封装为一个工具方法,
那么各个业务应用可以直接使用该工具方法来获取分布式ID,只需保证每个业务应用有
自己的工作机器id即可,而不需要单独去搭建一个获取分布式ID的应用。Java版本的Snowflake算法实现:/**
 * Twitter的SnowFlake算法,使用SnowFlake算法生成一个整数,然后转化为62进制变成一个短地址URL
 *
 * https://github.com/beyondfengyu/SnowFlake
 */
publicclass SnowFlakeShortUrl {

    /**
     * 起始的时间戳
     */
    privatefinalstaticlong START_TIMESTAMP = 1480166465631L;

    /**
     * 每一部分占用的位数
     */
    privatefinalstaticlong SEQUENCE_BIT = 12;   //序列号占用的位数
    privatefinalstaticlong MACHINE_BIT = 5;     //机器标识占用的位数
    privatefinalstaticlong DATA_CENTER_BIT = 5; //数据中心占用的位数

    /**
     * 每一部分的最大值
     */
    privatefinalstaticlong MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);
    privatefinalstaticlong MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
    privatefinalstaticlong MAX_DATA_CENTER_NUM = -1L ^ (-1L << DATA_CENTER_BIT);

    /**
     * 每一部分向左的位移
     */
    privatefinalstaticlong MACHINE_LEFT = SEQUENCE_BIT;
    privatefinalstaticlong DATA_CENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    privatefinalstaticlong TIMESTAMP_LEFT = DATA_CENTER_LEFT + DATA_CENTER_BIT;

    privatelong dataCenterId;  //数据中心
    privatelong machineId;     //机器标识
    privatelong sequence = 0L; //序列号
    privatelong lastTimeStamp = -1L;  //上一次时间戳

    private long getNextMill() {
        long mill = getNewTimeStamp();
        while (mill <= lastTimeStamp) {
            mill = getNewTimeStamp();
        }
        return mill;
    }

    private long getNewTimeStamp() {
        return System.currentTimeMillis();
    }

    /**
     * 根据指定的数据中心ID和机器标志ID生成指定的序列号
     *
     * @param dataCenterId 数据中心ID
     * @param machineId    机器标志ID
     */
    public SnowFlakeShortUrl(long dataCenterId, long machineId) {
        if (dataCenterId > MAX_DATA_CENTER_NUM || dataCenterId < 0) {
            thrownew IllegalArgumentException("DtaCenterId can't be greater than MAX_DATA_CENTER_NUM or less than 0!");
        }
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            thrownew IllegalArgumentException("MachineId can't be greater than MAX_MACHINE_NUM or less than 0!");
        }
        this.dataCenterId = dataCenterId;
        this.machineId = machineId;
    }

    /**
     * 产生下一个ID
     *
     * @return
     */
    public synchronized long nextId() {
        long currTimeStamp = getNewTimeStamp();
        if (currTimeStamp < lastTimeStamp) {
            thrownew RuntimeException("Clock moved backwards.  Refusing to generate id");
        }

        if (currTimeStamp == lastTimeStamp) {
            //相同毫秒内,序列号自增
            sequence = (sequence + 1) & MAX_SEQUENCE;
            //同一毫秒的序列数已经达到最大
            if (sequence == 0L) {
                currTimeStamp = getNextMill();
            }
        } else {
            //不同毫秒内,序列号置为0
            sequence = 0L;
        }

        lastTimeStamp = currTimeStamp;

        return (currTimeStamp - START_TIMESTAMP) << TIMESTAMP_LEFT //时间戳部分
                | dataCenterId << DATA_CENTER_LEFT       //数据中心部分
                | machineId << MACHINE_LEFT             //机器标识部分
                | sequence;                             //序列号部分
    }

    public static void main(String[] args) {
        SnowFlakeShortUrl snowFlake = new SnowFlakeShortUrl(2, 3);

        for (int i = 0; i < (1 << 4); i++) {
            //10进制
            System.out.println(snowFlake.nextId());
        }
    }
}

格式: 18位数字

代码实现,后续补充。。。