背景
业务飞速发展导致数据规模急速膨胀，单机的数据库已经无法满足互联网业务的发展。
传统的将数据集中存储单一数据结节的方案，在容量、性能、可用性和可维护性方面已经难以满足互联网海量数据的场景。
从容量方面考虑，单机数据库容量有限，难以扩容。
从性能方面来说，由于关系型数据库大多数采用B+树类型索引，在数据量超过一定的阈值后，索引的深度增加导致对磁盘的随机IO次数增加，进而导致性能问题。
从可用性方面来说，服务通常设计成无状态的，这必然导致系统的存储压力都集中在数据库层面，而单一的数据节点，或者简单的主从架构，已经越来越难以承担。
从运维角度来看，当数据都集中在一个节点上时，数据备份和恢复的时间成本也随之数据量上升变得不可控。同时数据丢失导致影响的范围也会被放大。
主从复制
-
主库将事务操作（除了查询以外的操作）记录到binlog
-
从库通过relay log同步数据，实现数据的同步
binlog日志格式
-
row 记录数据库操作详细记录，包括上线文信息等，文件较大。
-
statement 记录事务相关的SQL文件。
-
mixed 混合式, 基于row和statement两种文件格式。
异步复制
2000年，MySQL3.23.15版本引入复制功能，采用异步复制的方式，当网络或者机器故障，会导致数据不一致。
半同步复制
2010年, MySQL 5.5版本引入半同步复制, 半同步复制是指只要一个salve节点返回ack，master节点就可以提交事务了，保证数据库至少有一个节点完成了数据的同步。
组复制
2016年，MysQL在5.7.17中引入InnoDB Group Replication，该方案基于paxos协议实现组内复制，保证数据一致性，paxos协议核心在于过半选举。
主从复制的问题
-
主从复制延迟，导致"写完读"数据不一致问题。
-
从库读取失败，再去主库执行一遍SQL，存在性能问题。
-
业务层保证系统核心功能可用，将核心功能的CRUD操作都路由到主库，非核心业务功能即使存在短暂数据不一致也影响不大。
-
-
路由问题，需要业务层根据SQL路由到不同的数据库，路由到SLAVE节点时，还需要保证系统负载均衡。
-
业务层通过框架（如sharding-jdbc）或者手动实现，对业务的侵入性较大，已存在的旧系统改造不友好。
-
通过数据库中间件实现（如mycat、sharding-proxy），需要部署一个中间件（中间件实现SQL标准），规则配置在中间件，执行过程中会多一次网络转发。
-
-
不能保证系统高可用
- 通过一系列高可用的解决方案保证数据库高可用
数据库高可用
什么是高可用？
高可用意味着，更少的服务不可用的时间，一般用SLA(服务级别协议)衡量。
1年 = 365天 = 8760小时
99 = 8760 * 1% = 8760 * 0.01 = 87.6小时
99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时
99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟
99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟
为什么要做高可用？
通过故障转移，提供failover的能力，加上业务侧连接池的心跳重试，实现断线重连，业务不间断，降低RTO（Recovery Time Objective，复原时间目标）和RPO（Recovery Point Objective，复原点目标）。
-
容灾恢复：冷备和热备，冷备和热备的区别在于运行期间是否提供服务。
-
对于主从来说，简单的来说就是Master节点挂了，某一个从节点，自动切换成主。
-
从集群来看，即便是个别节点挂了，能正常对外提供服务。
常见的策略：
-
多实例部署
-
跨机房部署
-
两地三中心容灾高可用方案等。
手动切换
即如果主节点宕机，手动将某个从节点修改成主节点。
存在的问题：
-
可能数据不一致
-
需要人工干预
-
代码和配置的侵入性，需要配置其他节点，修改应用数据源的配置。
MHA
MHA全称叫做MySQL Master High Availability，是由Facebook工程师Yoshinori Matsunobu开发的一款MySQL高可用框架，基于Perl语言开发，一般能在30秒内实现主从切换，切换时通过SSH复制主节点的日志信息。
MHA负责MySQL主库的高可用，当主库发生故障时，MHA会选择一个数量最接近原主库的候选节点作为新的主节点，并且补齐和之前宕机的Master差异的Binlog。数据补齐后，即将写VIP漂移到新的主库上。具体的架构图如下：
优点
-
可以进行根据具体的故障实现自动检测和故障转移
-
扩展性好，可以任意的扩展数据节点数量
缺点：
-
极限情况下，可能会发生脑裂现象，出现多个Master。
-
需要配置SSH信息。
-
至少需要三台。
MGR
MGR是数据库支持的，只需要配置插件即可，如果主节点挂掉，将自动选择某个从改为主。无需人工干预，并且基于组复制（paxos算法），保证数据一致性。
MGR的特点
-
高一致性，基于分布式Paxos协议实现复制，保证数据一致性。
-
高容错性，自动检测机制，只要大多数节点都宕机的情况下，数据库可以继续工作，内置防脑裂保护机制。
-
高可扩展性，加入新节点后，自动实现增量同步，直到与其他节点数据一致。
-
高灵活性，提供了单主和多主模式，单主模式支持主节点宕机，自动选主，多主模式支持多节点写入。
MySQL InnoDb Cluster，一个完整的数据库高可用解决框架，由多个组件组成
-
MySQL Group Replication，提供DB的扩展，故障迁移
-
MySQL Router，轻量级中间件，提供应用程序连接目标的故障转移。
-
MySQL shell，新的MySQL客户端，多种接口模式，可以设置群组复制和Router。
Orchestrator
一款MySQL高可用和复制拓扑管理工具，支持复制拓扑结构的调整，自动故障迁移和手动切换的功能等，直接拖拽UI，就可以实现主从切换。
分库分表
分库分表通常是指垂直分库和水平分表，对于垂直分表其实就是将宽表拆分成小表，没有太多的技术挑战，这里侧重讲讲垂直分库和水平分表。
垂直分库
垂直分库是指将数据库进行纵向切分，通常按照业务的维度进行划分。
如典型的微服务的架构，将系统按照业务维度垂直拆分，划分成多个服务。如一个电商网站可以拆分成：订单、商品、会员、支付等服务。
垂直分库后业务更加单纯，职责单一，同时可以解决部分数据库容量问题，但是同时也引入了新的技术复杂度，如下：
-
分布式事务，跨数据库的事务操作需要分布式事务支持，否则系统将会面临数据不一致的问题。
-
方案一，采用XA事务，XA事务是数据库本身支持规范，具备强一致性的特征，但是性能比较差，对于追求高性能的场景不适合使用XA事务。
-
方案二，采用柔性事务，柔性事务是指，数据库保证局部事务，全局事务实现由业务层实现（如通过调度补偿，重试补偿，人工介入等），柔性事务常见的解决方案有：TCC、利用消息队列实现事务。
-
-
join问题，分库后，表分散到不同的数据库，无法直接使用SQL进行JOIN操作，需要业务层自己实现聚合操作，增加了开发成本。
水平分表
水平分表是指，将表按照某种规则分成多张表，拆分后的表结构和拆分前完全一致，但是数据分散到多张表中，也可以成为数据分片。
通过水平分表，解决了单表的容量和性能问题。但同时，水平分表后，引入了新的技术复杂度，主要有以下几点:
-
路由问题，当业务层通过SQL对数据库进行DML操作时，到底该查询那张表呢？
-
方案一：范围路由。根据表中某一列（分片键）的取值范围进行分表，如根据创建时间将主表分成多张表，每个月的数据单独存储在一个表中。范围路由可能出现数据分配不均匀的现象，但是表数量易于扩展。
-
方案二：哈希路由。根据表中某一列与分片数量取模运算(field_value % table_num)。hash路由和范围路由相反。表数量扩展时都会导致数据重新分布，但是数据分布较为均匀。
-
-
join问题，由于分表后，数据分散到多个表中，JOIN的条件语句中如果没有分片键，那么需要将全部的分片表都JOIN一遍，这种操作会存在性能问题。
-
count问题，分表后，如果需要统计表记录总和，需要遍历所有的表，然后再将结果进行汇总，可以通过一张单独的汇总表来解决，但这种解决方案需要每次insert或者delete的时候就需要更新汇总表，如果有一次没有更新，就会导致数据不一致。
-
order by问题，分表后，如果需要进行排序，需要遍历所有的表，然后在代码层进行重新排序，这个操作一看就会存在性能问题。
分库分表解决方案
-
业务代码层解决，可以通过SQL手动处理路由，但是和业务的耦合很严重，不易于维护。通常采用集成jar包的方式进行解决，如集成成熟的开源项目：sharding-jdbc。
-
数据库中间件，数据库中间件实现了对应数据库的SQL标准，路由规则配置在数据库中间件，业务代码操作数据库中间件和直接操作数据库没有任何区别。
总结
从单节点数据库到主从复制，再到数据库高可用，再到分库分表，很好的解决了数据的性能、容量、高可用、运维性等问题，但是会带来分布式事务、复杂SQL难以操作、SQL路由等问题。
架构设计应该遵循："简单性"、"合适性"、"演化性"的原则，符合当前的业务发展，所以系统设计没有必要一上来就考虑分库分表，而应该是数据量达到一定的量，出现性能瓶颈的时候再对系统进行改造和优化。
