B 站崩了，总结下「高可用」和「异地多活」

2022-10-11 16:49:55

你好，我是悟空。

一、背景

不用想象一种异常场景了，这就真实发生了：B 站昨天晚上 11 点突然挂了，网站主页直接报 404。

手机 APP 端数据加载不出来。

23：30 分，B 站做了降级页面，将 404 页面跳转到了比较友好的异常页面。

但是刷新下页面，又会跳转到 404 页面。

22：35 主页可以加载出数据了，但是点击动态还是会报 502

点击某个视频，直接报 404。

2021-07-14 02:00 之后 B 站开始逐渐恢复。

二、什么原因

今日凌晨 2 点，B 站发布公告称，昨晚，B 站的部分服务器机房发生故障，造成无法访问。技术团队随即进行了问题排查和修复，现在服务已经陆续恢复正常。而针对网友传言的 B 站大楼失火一事，上海消防官博进行了辟谣，B 站大楼并未出现火情。

看来 B 站的高可用并不令我们满意。接下来我们来探讨下什么是高可用以及跨机房部署的思路。本篇正文内容如下：

三、到底什么是高可用

经过了 2 个小时，B 站才开始逐渐恢复，那 B 站系统到底算不算高可用呢？

首先高可用是个相对的形容词。那什么是高可用呢？

3.1 高可用

高可用性（High Availability，HA）我们已经耳熟能详，指的是系统具备较高的无故障运行的能力。

B 站针对高可用架构还做过一篇分享：

重点：以后 B 站面试这类题不考，望周知。

常见的高可用的方案就是一主多从，主节点挂了，可以快速切换到从节点，从节点充当主节点，继续提供服务。比如 SQL Server 的主从架构，Redis 的主从架构，它们都是为了达到高可用性，即使某台服务器宕机了，也能继续提供服务。

刚刚提到了快速，这是一个定性词语，那定量的高可用是怎么样的？

3.2 定量分析高可用

有两个相关的概念需要提及：MTBF 和 MTTR。

MTBF：故障间隔时间，可以理解为从上次故障到这次故障，间隔多久，间隔的越长，系统稳定性越高。

MTTR：故障平均恢复时间，可以理解为突然发生故障了，到系统恢复正常，经历了多长时间，这个时间越短越好，不然用户等着急了，会收到很多投诉。

可用性计算公式：MTBF/（MTBF+MTTR）* ，就是用故障的间隔时间除以故障间隔时间+故障平均恢复时间的总和。

通常情况下，我们使用几个九来表示系统的可用性，之前我们项目组的系统要求达到年故障时间不超过 5 分钟，也就是五个九的标准。

3.3 定量分析 B 站

来反观下 B 站故障了多久，2021-07-13 23:00 到 2021-07-14 02:00，系统逐渐恢复，如果按照年故障总时间来算的话：B 站故障超过 1 个小时了，只能算达到了三个九的标准。如果按照日故障时间来算，只能达到两个九的标准，也就是 99% 的高可用性，有点惨...

3.4 一个九和两个九

非常容易达到，一个正常的线上系统不会每天宕机 15 分钟吧，不然真用不下去了。

3.5 三个九和四个九

允许故障的时间很短，年故障时间是 1 小时到 8 小时，需要从架构设计、代码质量、运维体系、故障处理手册等入手，其中非常关键的一环是运维体系，如果线上出了问题，波收到异常通知的肯定是运维团队，根据问题的严重程度，会有不同的运维人员来处理，像 B 站这种大事故，就得运维负责人亲自上阵了。

另外在紧急故障发生时，是否可以人工手段降级或者加开关，限制部分功能，也是需要考虑的。之前我遇到过一个问题，二维码刷卡功能出现故障，辛亏之前做了一个开关，可以将二维码功能隐藏，如果用户要使用二维码刷卡功能，统一引导用户走线下刷卡功能。

3.6 五个九

年故障时间 5 分钟以内，这个相当短，即使有强大的运维团队每天值班也很难在收到异常报警后，5 分钟内快速恢复，所以只能用自动化运维来解决。也就是服务器自己来保证系统的容灾和自动恢复的能力。

3.7 六个九

这个标准相当苛刻了，年故障时间 32 秒。

针对不同的系统，其实对几个九也不相同。比如公司内部的员工系统，要求四个九就可以，如果是给用户使用，且使用人数很多，比如某宝、某饿，那么就要求五个九以上了，但是即使是数一数二的电商系统，它里面也有非核心的业务，其实也可以放宽限制，四个九足以，这个就看各家系统的要求，都是成本、人力、重要程度的权衡考虑。

四、如何做到高可用

高可用的方案也是很常见，故障转移、超时控制、限流、隔离、熔断、降级，这里也做个总结。

也可以看这篇：双 11 的狂欢，干了这碗「流量防控」汤

4.1 限流

对请求的流量进行控制，只放行部分请求，使服务能够承担不超过自己能力的流量压力。

常见限流算法有三种：时间窗口、漏桶算法、令牌桶算法。

4.1.1 时间窗口

时间窗口又分为固定窗口和滑动窗口。具体原理可以看这篇：东汉末年，他们把「服务雪崩」玩到了（干货）

固定时间窗口：

原理：固定时间内统计流量总量，超过阀值则限制流量。

缺陷：无法限制短时间之内的集中流量。

滑动窗口原理：

原理：统计的总时间固定，但时间段是滑动的。

缺陷：无法控制流量让它们更加平滑

时间窗口的原理图在这里：

4.1.2 漏桶算法。

原理：按照一个固定的速率将流量露出到接收端。

缺陷：面对突发流量的时候，采用的解决方式是缓存在漏桶中，这样流量的响应时间就会增长，这就与互联网业务低延迟的要求不符。

4.1.3 令牌桶算法

原理：一秒内限制访问次数为 N 次。每隔 1/N 的时间，往桶内放入一个令牌。分布式环境下，用 Redis 作为令牌桶。原理图如下：

总结的思维导图在这里：

4.2 隔离

每个服务看作一个独立运行的系统，即使某一个系统有问题，也不会影响其他服务。

而常规的方案是使用两款组件：Sentinel 和 Hystrix。

4.3 故障转移

故障转移分为两种：

完全对等节点的故障转移。节点都是同等性质的。
不对等节点的故障转移。不对等就是主备节点都存在。

对等节点的系统中，所有节点都承担读写流量，并且节点不保存状态，每个节点就是另外一个的镜像。如果某个节点宕机了，按照负载均衡的权重配置访问其他节点就可以了。

不对等的系统中，有一个主节点，多个备用节点，可以是热备（备用节点也在提供在线服务），也可以是冷备（只是备份作用）。如果主节点宕机了，可以被系统检测到，立即进行主备切换。

而如何检测主节点宕机，就需要用到分布式 Leader 选举的算法，常见的就有 Paxos 和 Raft 算法，详细的选举算法可以看这两篇：

4.4 超时控制

超时控制就是模块与模块之间的调用需要限制请求的时间，如果请求超时的设置得较长，比如 30 s，那么当遇到大量请求超时的时候，由于请求线程都阻塞在慢请求上，导致很多请求都没来得及处理，如果持续时间足够长，就会产生级联反应，形成雪崩。

还是以我们熟悉的下单场景为例：用户下单了一个商品，客户端调用订单服务来生成预付款订单，订单服务调用商品服务查看下单的哪款商品，商品服务调用库存服务判断这款商品是否有库存，如有库存，则可以生成预付款订单。

雪崩如何造成的？

次滚雪球：库存服务不可用（如响应超时等），库存服务收到的很多请求都未处理完，库存服务将无法处理更多请求。
第二次滚雪球：因商品服务的请求都在等库存服务返回结果，导致商品服务调用库存服务的很多请求未处理完，商品服务将无法处理其他请求，导致商品服务不可用
第三次滚雪球：因商品服务不可用，订单服务调用商品服务的的其他请求无法处理，导致订单服务不可用。
第四次滚雪球：因订单服务不可用，客户端将不能下单，更多客户将重试下单，将导致更多下单请求不可用。

所以设置合理的超时时间非常重要。具体设置的地方：模块与模块之间、请求数据库、缓存处理、调用第三方服务。

4.5 熔断

关键字：断路保护。比如 A 服务调用 B 服务，由于网络问题或 B 服务宕机了或 B 服务的处理时间长，导致请求的时间超长，如果在一定时间内多次出现这种情况，就可以直接将 B 断路了（A 不再请求B）。而调用 B 服务的请求直接返回降级数据，不必等待 B 服务的执行。因此 B 服务的问题，不会级联影响到 A 服务。

熔断的详细原理还是可以上面提到的：东汉末年，他们把「服务雪崩」玩到了（干货）

4.6 降级

关键字：返回降级数据。网站处于流量高峰期，服务器压力剧增，根据当前业务情况及流量，对一些服务和页面进行有策略的降级（停止服务，所有的调用直接返回降级数据）。以此缓解服务器资源的压力，保证核心业务的正常运行，保持了客户和大部分客户得到正确的响应。降级数据可以简单理解为快速返回了一个 false，前端页面告诉用户“服务器当前正忙，请稍后再试。”