springBoot整合ShardingSphere实现分库分表

我是小趴菜 lv-4
·  阅读 92

1:创建项目。搭建基础环境

创建一个新的SpringBoot项目，然后引入依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.5.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.coco</groupId>
    <artifactId>sharding_boot</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>sharding_boot</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.47</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>
复制代码

创建二个新的数据库，ds0,ds1,然后分别创建以下几张表,二个数据库都要创建

CREATE TABLE `position` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `salary` varchar(255) DEFAULT NULL,
  `city` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=751105403344912385 DEFAULT CHARSET=utf8mb4;

CREATE TABLE `position_detail` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `pid` bigint(20) DEFAULT NULL,
  `description` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=751105403453964289 DEFAULT CHARSET=utf8mb4;

CREATE TABLE `city` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=751371239271956481 DEFAULT CHARSET=utf8mb4;
复制代码

创建对应的实体类，dao层等,这里只展示position表的，其它二个表一样

@Entity
@Table(name = "position")
public class Position implements Serializable {
    private static final long serialVersionUID = 731054533134883488L;

    @Id
    @Column(name = "id")
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    @Column(name = "name")
    private String name;

    @Column(name = "salary")
    private String salary;

    @Column(name = "city")
    private String city;


    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getSalary() {
        return salary;
    }

    public void setSalary(String salary) {
        this.salary = salary;
    }

    public String getCity() {
        return city;
    }

    public void setCity(String city) {
        this.city = city;
    }

}
复制代码
import com.coco.entity.Position;
import org.springframework.data.jpa.repository.JpaRepository;
import org.springframework.stereotype.Repository;

@Repository
public interface PositionRepository extends JpaRepository<Position,Long> {
}
复制代码

2: shardingSphere分库

1:创建一个配置文件：application-sharding-database.properties

#定义数据源
spring.shardingsphere.datasource.names=datasource0,datasource1

spring.shardingsphere.datasource.datasource0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.datasource0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.datasource0.jdbc-url=jdbc:mysql://localhost:3306/ds0
spring.shardingsphere.datasource.datasource0.username=root
spring.shardingsphere.datasource.datasource0.password=root


spring.shardingsphere.datasource.datasource1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.datasource1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.datasource1.jdbc-url=jdbc:mysql://localhost:3306/ds1
spring.shardingsphere.datasource.datasource1.username=root
spring.shardingsphere.datasource.datasource1.password=root

#切分策略
#对表position进行分片，根据表的id字段进行分库
spring.shardingsphere.sharding.tables.position.database-strategy.inline.sharding-column=id
#分库策略，我们现在只有二个库，所以直接对2进行取模
spring.shardingsphere.sharding.tables.position.database-strategy.inline.algorithm-expression=datasource$->{id % 2}


#指定主键生成策略，如果不加这二行配置就不启用
spring.shardingsphere.sharding.tables.position.key-generator.column=id
#使用sharding自带的雪花算法生成主键
spring.shardingsphere.sharding.tables.position.key-generator.type=SNOWFLAKE
复制代码

2:创建一个配置文件：application.properties引入该配置文件

spring.profiles.active=sharding-database
spring.shardingsphere.props.sql.show=true
复制代码

3:测试，可以发现二个库中都有数据了

@org.junit.Test
public void addTest() {
    for(int i = 1; i <= 20; i ++) {
        Position position = new Position();
        position.setName("coco-" + i);
        position.setSalary("100000");
        position.setCity("南昌");
        positionRepository.save(position);
    }
}
复制代码

3: shardingSphere分库分表

1:在ds0和ds1数据库分别创建 t_order0 和 t_order1二张表

CREATE TABLE `t_order0` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `compan_id` bigint(20) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=751388348609724417 DEFAULT CHARSET=utf8mb4;

CREATE TABLE `t_order1` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `compan_id` bigint(20) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=751388348609724417 DEFAULT CHARSET=utf8mb4;
复制代码

2:创建实体类和dao层

@Entity
@Table(name = "t_order")
public class Order implements Serializable {
    private static final long serialVersionUID = 718845255320843512L;

    @Id
    @Column(name = "id")
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    @Column(name = "compan_id")
    private Long companId;

    @Column(name = "name")
    private String name;


    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public Long getCId() {
        return companId;
    }

    public void setCId(Long companId) {
        this.companId = companId;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

}
复制代码
@Repository
public interface OrderRepository extends JpaRepository<Order,Long> {
}
复制代码

3:还是在 application-sharding-database.properties进行修改

#定义数据源
spring.shardingsphere.datasource.names=datasource0,datasource1

spring.shardingsphere.datasource.datasource0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.datasource0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.datasource0.jdbc-url=jdbc:mysql://localhost:3306/ds0
spring.shardingsphere.datasource.datasource0.username=root
spring.shardingsphere.datasource.datasource0.password=root


spring.shardingsphere.datasource.datasource1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.datasource1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.datasource1.jdbc-url=jdbc:mysql://localhost:3306/ds1
spring.shardingsphere.datasource.datasource1.username=root
spring.shardingsphere.datasource.datasource1.password=root

#切分策略
#对表position进行分片，根据表的id字段进行分库
spring.shardingsphere.sharding.tables.position.database-strategy.inline.sharding-column=id
#分库策略
spring.shardingsphere.sharding.tables.position.database-strategy.inline.algorithm-expression=datasource$->{id % 2}

#指定主键生成策略，如果不加这二行配置就不启用
spring.shardingsphere.sharding.tables.position.key-generator.column=id
#使用sharding自带的雪花算法生成主键
spring.shardingsphere.sharding.tables.position.key-generator.type=SNOWFLAKE


###################################################################################
#以下是新增的部分，上面的配置没有变化
#订单表分库分表
#我们使用compan_id字段进行分库，使用id字段来进行分表
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=compan_id
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=datasource$->{compan_id % 2}
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{id % 2}
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=datasource${0..1}.t_order${0..1}
#订单表主键生成策略
spring.shardingsphere.sharding.tables.t_order.key-generator.column=id
spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE
复制代码

4:测试

@org.junit.Test
public void test() {
    Random random = new Random();
    Order order = new Order();
    order.setName("nanchang");
    Integer l = random.nextInt(10);
    order.setCompanId(Long.valueOf(l.toString()));
    orderRepository.save(order);
}
复制代码

3: shardingSphere广播表

广播表的作用是指数据在每一个库中都存在一份，一般像字典表等都会在每一个库中都存在一份，而且每一个库中的数据都是一模一样的

1:还是在 application-sharding-database.properties进行修改

#定义数据源
spring.shardingsphere.datasource.names=datasource0,datasource1

spring.shardingsphere.datasource.datasource0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.datasource0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.datasource0.jdbc-url=jdbc:mysql://localhost:3306/ds0
spring.shardingsphere.datasource.datasource0.username=root
spring.shardingsphere.datasource.datasource0.password=root


spring.shardingsphere.datasource.datasource1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.datasource1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.datasource1.jdbc-url=jdbc:mysql://localhost:3306/ds1
spring.shardingsphere.datasource.datasource1.username=root
spring.shardingsphere.datasource.datasource1.password=root

#切分策略
#对表position进行分片，根据表的id字段进行分库
spring.shardingsphere.sharding.tables.position.database-strategy.inline.sharding-column=id
#分库策略
spring.shardingsphere.sharding.tables.position.database-strategy.inline.algorithm-expression=datasource$->{id % 2}

#指定主键生成策略，如果不加这二行配置就不启用
spring.shardingsphere.sharding.tables.position.key-generator.column=id
#使用sharding自带的雪花算法生成主键
spring.shardingsphere.sharding.tables.position.key-generator.type=SNOWFLAKE


###################################################################################
#以下是新增的部分，上面的配置没有变化
#订单表分库分表
#我们使用compan_id字段进行分库，使用id字段来进行分表
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.sharding-column=compan_id
spring.shardingsphere.sharding.tables.t_order.database-strategy.inline.algorithm-expression=datasource$->{compan_id % 2}
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{id % 2}
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=datasource${0..1}.t_order${0..1}
#订单表主键生成策略
spring.shardingsphere.sharding.tables.t_order.key-generator.column=id
spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE



###################################################################################
#以下是新增的部分，上面的配置没有变化
#广播表配置
spring.shardingsphere.sharding.broadcast-tables=city
spring.shardingsphere.sharding.tables.city.key-generator.column=id
spring.shardingsphere.sharding.tables.city.key-generator.type=SNOWFLAKE
复制代码

2:测试，保存一条数据，二个库中的city表都会有

@org.junit.Test
public void test() {
    City city = new City();
    city.setName("南昌");
    cityRepository.save(city);
}
复制代码
分类：
后端
标签：
后端面试
相关推荐
  •
    26天前
    后端
    分库分表，真的有必要吗？
    分库分表，真的有必要吗？ 哈喽，大家好，我是janker。 关于数据库分库分表的面试题已经是烂大街了，面经小册各路神仙的经验分享也是不绝于耳。当然现有的技术解决方案已经是很成熟了。
    • 3783
    • 7
    分库分表，真的有必要吗？
  •
    9月前
    后端
    springboot 整合 shardingsphere-jdbc MybatisPlus 行表达式水平分库分表
    在项目pom.xml添加配置 application.properties文件配置 表结构 数据库表结构图 ProductOrderMapper 操作类 ProductOrderDO 实体类 spri
    • 1564
    • 评论
  • 2月前
    数据库 MySQL 架构
    (二十六)MySQL分库篇：Sharding-Sphere分库分表框架的保姆级教学！
    讲分库分表概念的文章比比皆是，但真正带人落地实践资料相对较少，而本次会基于最新的Sharding-Sphere5.2.1框架，来逐步讲解分库分表的完整性实战~
    • 2930
    • 11
  • 10月前
    后端 前端 面试
    【躲过裁员，成功上岸】发现小公司有不好的苗头，赶紧学习！
    读者反馈：今年这波裁员有点凶，但在我们公司去年已经有了些不好的苗头，为了不让自己那么拉胯🌶，躲不过各种坑坑洼洼...
    • 4.9w
    • 74
    【躲过裁员，成功上岸】发现小公司有不好的苗头，赶紧学习！
  •
    1年前
    面试 Java 后端
    面试高频题：讲讲项目中的技术难点？
    相信很多人都有类似的经历，在面试快要结束的时候经常会被问到一个问题：讲讲项目中的技术难点？ 这是一个比较开放的问题，首先它没有固定的答案，因为每个人做过的项目不同，使用的框架不同，对应的架构不同，自然
    • 1.9w
    • 17
  • 6月前
    后端 Java 面试
    以为很熟悉CountDownLatch的使用了，没想到在生产环境翻车了
    分享了CountDownLatch的使用，我们知道用来控制并发流程的同步工具，主要的作用是为了等待多个线程同时完成任务后，在进行主线程任务。 万万没想到，在生产环境中竟然翻车了
    • 1.8w
    • 41
    以为很熟悉CountDownLatch的使用了，没想到在生产环境翻车了
  •
    1月前
    后端 Java 数据库
    面试必备：分库分表经典15连问
    大家好，我是田螺。我们去面试的时候，几乎都会被问到分库分表。田螺哥整理了分库分表的15道经典分库分表面试题，大家看完肯定会有帮助的。
    • 4862
    • 评论
  • 8月前
    后端 Java 面试
    这个队列的思路是真的好，现在它是我简历上的亮点了。
    前几天在一个开源项目的 github 里面看到这样的一个 pr： 光是看这个名字，里面有个 MemorySafe，我就有点陷进去了。 我先给你看看这个东西： 这个肯定很眼熟吧？我是
    • 7.8w
    • 84
    这个队列的思路是真的好，现在它是我简历上的亮点了。
  •
    10月前
    后端 面试
    换个数据结构，一不小心节约了 591 台机器！
    前段时间，我在 B 站上看到一个技术视频，题目叫做《机票报价高并发场景下的一些解决方案》。 up 主是 Qunar技术大本营，也就是我们耳熟能详的“去哪儿”。 视频链接在这里： 当
    • 2.2w
    • 40
    换个数据结构，一不小心节约了 591 台机器！
  •
    8月前
    面试 后端
    面了三十个人，说说我的真实感受
    大家好，我是老三。 今年的金三银四，比以往要惨淡一些，但是老三还是面试了小三十个人，过了把面试官的瘾，接下来，我会用自问自答的方式，聊聊作为一个面试官的真实感受。 我们想要什么样的人？ 老三在一家跨境
    • 3.4w
    • 70
  • 11月前
    后端 面试
    发现Spring事务的一个实锤bug，官方还拒不承认？你来评评理...
    事情是这样的，上周我正在全神贯注的摸鱼，然后有个小伙伴给我发来微信消息，提出了自己关于事务的一个疑问，并配上两段代码： 先说结论：我认为这是 Spring 事务的一个 bug。但是
    • 1.5w
    • 54
    发现Spring事务的一个实锤bug，官方还拒不承认？你来评评理...
  •
    2年前
    MySQL
    你们要的MyCat实现MySQL分库分表来了
    在之前写过一篇关于mysql分库分表的文章，那篇文章只是给大家提供了一个思路，但是回复下面有很多说是细节问题没有提到。所以咔咔就在出了这篇文章。 本文只是针对其中的一个细节而已，比如如何落地MySQL的分库分表，本文使用数据库中间件MyCat来实现。 其中还有最多的回复是分库分…
    • 3652
    • 9
  • 2月前
    后端
    Sharding-jdbc-ShardingSphere实现分库分表一些核心概念
    开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第11天，点击查看活动详情 ShardingSphere ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生
    • 1131
    • 1
    Sharding-jdbc-ShardingSphere实现分库分表一些核心概念
  •
    1年前
    后端 面试 前端
    聊一聊我在腾讯的外包同事
    我有一个秋招群，有时会看到他们在聊外包岗的相关话题，基本是 99% 的人都在尽力躲开外包岗。 确实，很多人都不想被套上外包岗的标签，但事实上，外包公司真的很多，总有人会在外包岗。 那外包岗真的一点也不
    • 1.9w
    • 95
  • 2年前
    Java
    使用TiDB把自己写分库分表方案推翻了
    在日益数据量增长的情况下，影响数据库的读写性能，我们一般会有分库分表的方案和使用newSql方案，newSql如TIDB。那么为什么需要使用TiDB呢？有什么情况下才用TiDB呢？解决传统分库分表的什么问题呢？还会解释一些关键点和踩坑点。下面我会用比较白话的形式解读，当做对Ti…
    • 4719
    • 3
    使用TiDB把自己写分库分表方案推翻了
  •
    3月前
    后端 架构 Java
    好好的系统，为什么要分库分表？
    大家好，我是小富～ 说在前边 今天是《分库分表 ShardingSphere 原理与实战》系列的开篇文章，之前写过几篇关于分库分表的文章反响都还不错，到现在公众号:程序员小富后台不断的有人留言、咨询分
    • 9202
    • 15
    好好的系统，为什么要分库分表？
  •
    5月前
    后端 面试 Java
    没有二十年功力，写不出Thread.sleep(0)这一行“看似无用”的代码！
    你好呀，我是喜提七天居家隔离的歪歪。 这篇文章要从一个奇怪的注释说起，就是下面这张图： 我们可以不用管具体的代码
    • 4.0w
    • 122
    没有二十年功力，写不出Thread.sleep(0)这一行“看似无用”的代码！
  •
    1年前
    Spring Boot 后端
    Spring Boot demo系列（十三）：ShardingSphere + MyBatisPlus 分库分表
    1 概述 本文主要讲述了如何使用ShardingSphere（其中的Sharding-JDBC）和MyBatisPlus进行分库分表，具体步骤包括： 准备数据库环境 准备依赖 编写配置文件 测试 2
    • 1145
    • 评论
  • 9月前
    后端 Java 数据库
    阿里面试：我们为什么要分库分表
    前言 大家好，我是捡田螺的小男孩，今天跟大家聊聊分库分表。 什么是分库分表 为什么需要分库分表 如何分库分表？ 什么时候开始考虑分库分表 分库分表会导致哪些问题 分库分表中间件简介 公众号：捡田螺的小
    • 1.6w
    • 13
  • 2年前
    Java
    扛不住了，老大让我上分库分表方案
    这些问题你都搞清楚了吗？相信看完这篇文章会有答案。 首先回答一下为什么要分库分表，答案很简单：数据库出现性能瓶颈。用大白话来说就是数据库快扛不住了。 在高并发场景下，大量请求都需要操作数据库，导致连接数不够了，请求处于阻塞状态。 如果数据库中存在一张上亿数据量的表，一条 SQL…
    • 5974
    • 12

    • 友情链接：

    java
    私信
    获得点赞  668
    文章被阅读  49,708
    相关文章
    让java性能提升的JIT深度解析
    8点赞
     · 
    0评论
    Springboot2.x + ShardingSphere 实现分库分表
    14点赞
     · 
    6评论
    花10分钟搭建一个WebSocket集群
    9点赞
     · 
    4评论
    Sharding-jdbc-ShardingSphere实现分库分表一些核心概念
    3点赞
     · 
    1评论
    往RocketMq发送消息的底层原理
    12点赞
     · 
    4评论
    收藏成功！
    已添加到「」， 点击更改