MySQL架构演进-从主从复制到分库分表

2023-02-15 15:37:58

背景

业务飞速发展导致数据规模急速膨胀，单机的数据库已经无法满足互联网业务的发展。

传统的将数据集中存储单一数据结节的方案，在容量、性能、可用性和可维护性方面已经难以满足互联网海量数据的场景。

从容量方面考虑，单机数据库容量有限，难以扩容。

从性能方面来说，由于关系型数据库大多数采用B+树类型索引，在数据量超过一定的阈值后，索引的深度增加导致对磁盘的随机IO次数增加，进而导致性能问题。

从可用性方面来说，服务通常设计成无状态的，这必然导致系统的存储压力都集中在数据库层面，而单一的数据节点，或者简单的主从架构，已经越来越难以承担。

从运维角度来看，当数据都集中在一个节点上时，数据备份和恢复的时间成本也随之数据量上升变得不可控。同时数据丢失导致影响的范围也会被放大。

主从复制

主库将事务操作（除了查询以外的操作）记录到binlog
从库通过relay log同步数据，实现数据的同步

binlog日志格式

row 记录数据库操作详细记录，包括上线文信息等，文件较大。
statement 记录事务相关的SQL文件。
mixed 混合式, 基于row和statement两种文件格式。

异步复制

2000年，MySQL3.23.15版本引入复制功能，采用异步复制的方式，当网络或者机器故障，会导致数据不一致。

半同步复制

2010年, MySQL 5.5版本引入半同步复制, 半同步复制是指只要一个salve节点返回ack，master节点就可以提交事务了，保证数据库至少有一个节点完成了数据的同步。

组复制

2016年，MysQL在5.7.17中引入InnoDB Group Replication，该方案基于paxos协议实现组内复制，保证数据一致性，paxos协议核心在于过半选举。

主从复制的问题

主从复制延迟，导致"写完读"数据不一致问题。

从库读取失败，再去主库执行一遍SQL，存在性能问题。
业务层保证系统核心功能可用，将核心功能的CRUD操作都路由到主库，非核心业务功能即使存在短暂数据不一致也影响不大。

路由问题，需要业务层根据SQL路由到不同的数据库，路由到SLAVE节点时，还需要保证系统负载均衡。

业务层通过框架（如sharding-jdbc）或者手动实现，对业务的侵入性较大，已存在的旧系统改造不友好。
通过数据库中间件实现（如mycat、sharding-proxy），需要部署一个中间件（中间件实现SQL标准），规则配置在中间件，执行过程中会多一次网络转发。

不能保证系统高可用

通过一系列高可用的解决方案保证数据库高可用

数据库高可用

什么是高可用？

高可用意味着，更少的服务不可用的时间，一般用SLA(服务级别协议)衡量。

1年 = 365天 = 8760小时

99 = 8760 * 1% = 8760 * 0.01 = 87.6小时

99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时

99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟

99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟

为什么要做高可用？

通过故障转移，提供failover的能力，加上业务侧连接池的心跳重试，实现断线重连，业务不间断，降低RTO（Recovery Time Objective，复原时间目标）和RPO（Recovery Point Objective，复原点目标）。

容灾恢复：冷备和热备，冷备和热备的区别在于运行期间是否提供服务。
对于主从来说，简单的来说就是Master节点挂了，某一个从节点，自动切换成主。
从集群来看，即便是个别节点挂了，能正常对外提供服务。

常见的策略：

多实例部署
跨机房部署
两地三中心容灾高可用方案等。

手动切换

即如果主节点宕机，手动将某个从节点修改成主节点。

存在的问题：

可能数据不一致
需要人工干预
代码和配置的侵入性，需要配置其他节点，修改应用数据源的配置。

MHA

MHA全称叫做MySQL Master High Availability，是由Facebook工程师Yoshinori Matsunobu开发的一款MySQL高可用框架，基于Perl语言开发，一般能在30秒内实现主从切换，切换时通过SSH复制主节点的日志信息。

MHA负责MySQL主库的高可用，当主库发生故障时，MHA会选择一个数量接近原主库的候选节点作为新的主节点，并且补齐和之前宕机的Master差异的Binlog。数据补齐后，即将写VIP漂移到新的主库上。具体的架构图如下：

优点

可以进行根据具体的故障实现自动检测和故障转移
扩展性好，可以任意的扩展数据节点数量

缺点：

极限情况下，可能会发生脑裂现象，出现多个Master。
需要配置SSH信息。
至少需要三台。

MGR

MGR是数据库支持的，只需要配置插件即可，如果主节点挂掉，将自动选择某个从改为主。无需人工干预，并且基于组复制（paxos算法），保证数据一致性。

MGR的特点

高一致性，基于分布式Paxos协议实现复制，保证数据一致性。
高容错性，自动检测机制，只要大多数节点都宕机的情况下，数据库可以继续工作，内置防脑裂保护机制。
高可扩展性，加入新节点后，自动实现增量同步，直到与其他节点数据一致。
高灵活性，提供了单主和多主模式，单主模式支持主节点宕机，自动选主，多主模式支持多节点写入。

MySQL InnoDb Cluster，一个完整的数据库高可用解决框架，由多个组件组成

MySQL Group Replication，提供DB的扩展，故障迁移
MySQL Router，轻量级中间件，提供应用程序连接目标的故障转移。
MySQL shell，新的MySQL客户端，多种接口模式，可以设置群组复制和Router。

Orchestrator

一款MySQL高可用和复制拓扑管理工具，支持复制拓扑结构的调整，自动故障迁移和手动切换的功能等，直接拖拽UI，就可以实现主从切换。

分库分表

分库分表通常是指垂直分库和水平分表，对于垂直分表其实就是将宽表拆分成小表，没有太多的技术挑战，这里侧重讲讲垂直分库和水平分表。

垂直分库

垂直分库是指将数据库进行纵向切分，通常按照业务的维度进行划分。

如典型的微服务的架构，将系统按照业务维度垂直拆分，划分成多个服务。如一个电商网站可以拆分成：订单、商品、会员、支付等服务。

垂直分库后业务更加单纯，职责单一，同时可以解决部分数据库容量问题，但是同时也引入了新的技术复杂度，如下：

分布式事务，跨数据库的事务操作需要分布式事务支持，否则系统将会面临数据不一致的问题。

方案一，采用XA事务，XA事务是数据库本身支持规范，具备强一致性的特征，但是性能比较差，对于追求高性能的场景不适合使用XA事务。
方案二，采用柔性事务，柔性事务是指，数据库保证局部事务，全局事务实现由业务层实现（如通过调度补偿，重试补偿，人工介入等），柔性事务常见的解决方案有：TCC、利用消息队列实现事务。

join问题，分库后，表分散到不同的数据库，无法直接使用SQL进行JOIN操作，需要业务层自己实现聚合操作，增加了开发成本。

水平分表

水平分表是指，将表按照某种规则分成多张表，拆分后的表结构和拆分前完全一致，但是数据分散到多张表中，也可以成为数据分片。

通过水平分表，解决了单表的容量和性能问题。但同时，水平分表后，引入了新的技术复杂度，主要有以下几点:

路由问题，当业务层通过SQL对数据库进行DML操作时，到底该查询那张表呢？

方案一：范围路由。根据表中某一列（分片键）的取值范围进行分表，如根据创建时间将主表分成多张表，每个月的数据单独存储在一个表中。范围路由可能出现数据分配不均匀的现象，但是表数量易于扩展。
方案二：哈希路由。根据表中某一列与分片数量取模运算(field_value % table_num)。hash路由和范围路由相反。表数量扩展时都会导致数据重新分布，但是数据分布较为均匀。

join问题，由于分表后，数据分散到多个表中，JOIN的条件语句中如果没有分片键，那么需要将全部的分片表都JOIN一遍，这种操作会存在性能问题。
count问题，分表后，如果需要统计表记录总和，需要遍历所有的表，然后再将结果进行汇总，可以通过一张单独的汇总表来解决，但这种解决方案需要每次insert或者delete的时候就需要更新汇总表，如果有一次没有更新，就会导致数据不一致。
order by问题，分表后，如果需要进行排序，需要遍历所有的表，然后在代码层进行重新排序，这个操作一看就会存在性能问题。

分库分表解决方案

业务代码层解决，可以通过SQL手动处理路由，但是和业务的耦合很严重，不易于维护。通常采用集成jar包的方式进行解决，如集成成熟的开源项目：sharding-jdbc。
数据库中间件，数据库中间件实现了对应数据库的SQL标准，路由规则配置在数据库中间件，业务代码操作数据库中间件和直接操作数据库没有任何区别。