CDN应用进阶 | 大文件下载及视频点播的CDN加速实践

2021-01-04 16:02:12

为了帮助用户更好地了解和使用CDN产品，CDN应用实践进阶系统课程开课啦！前几天，阿里云CDN产品专家陈智城在线分享了《大文件下载及视频点播的CDN加速实践》议题，解读大文件下载和视频点播的业务场景、内容分发挑战及对应解决方案。本篇文章，将为你详述分享原文，结尾还有福利，不要错过哦~

一、大文件下载和视频点播的内容分发挑战

对于下载类的场景来说，常见细分场景包括：手机应用商店、游戏应用商店以及游戏更新和手机操作系统更新等，而对于视频类的应用场景来说，主要细分场景包括短视频、长视频、在线教育、OTT机顶盒、广电传媒和音乐网站等等。

为什么会把下载类的应用场景和视频点播类应用场景放在一起去做比对呢？因为视频点播这个应用场景实际上也是一种大文件下载场景，这两个应用场景有着很高的业务相似性，也有很多共性问题，而它们之间的区别在于视频点播对于访问的性能会有更高的要求。

两个场景在内容分发方面所面临的挑战主要有三大类：

用户体验问题，主要体现在：国内运营商环境复杂，跨运营商访问效果差；用户分布广，跨地区访问时延高、速度慢；弱网环境下传输性能差，速度慢、卡顿严重等方面；
源站性能与成本问题，主要体现在：中心式部署的源站弹性扩展能力差，无法承受大规模突发流量以及中心式部署的源站带宽成本高昂；
业务安全问题，主要体现在：时刻面临着DNS劫持（例如被劫持了页面内容，被嵌入了页面广告等）、资源盗链（源站面临带宽成本上的损失）等安全威胁。

二、CDN内容分发网络架构

当下，CDN已经是成为了缓解网络拥塞、提高业务响应速度、提升用户体验的一种非常重要的技术手段，也是互联网基础设施当中不可或缺的重要组成部分。下面我们通过阿里云CDN的内容分发网络架构来说明典型的CDN内容分发网络都包含哪些组成部分：

（1）调度系统

用户的终端会发起各种应用访问，比如：点播和下载这两个应用场景。用户的访问请求会首先去做域名DNS解析，然后用户的域名DNS解析请求将会通过阿里云CDN的调度系统去处理；

（2）链路质量系统

链路质量探测系统的作用是去实时地监测缓存系统中的每一个节点和链路的实时负载和健康状况，然后反馈给调度系统，调度系统会根据用户请求中携带的IP地址信息去解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个佳的接入节点；

（3）缓存系统

用户收到佳接入节点的IP以后，就会去访问这个缓存节点，节点如果已经缓存了用户请求的资源，那么就将会直接将资源返回给用户；如果L1节点没有命中，会上溯到L2节点，如果L2节点也没有缓存资源，才会返回源站去拉取这个资源；某个资源拉取后将会在缓存系统中缓存下来，这样如果后续用户访问到同一个资源，就可直接从缓存系统去拉取资源，避免重复回源；通过分级缓存的这种部署架构可以达到提高内容分发效率、降低回源带宽以及提升用户体验的效果。

（4）支撑服务系统

阿里云CDN在内容分发之外也提供了支撑服务系统。是具备资源监测能力，可以对缓存系统上客户业务运行的状态进行监测，比如对CDN加速域名的QPS、带宽、http状态码等常见指标实现监控。第二是数据分析，用户可以分析CDN加速域名的TOP URL、PV、UV等数据。第三是配置管理系统，用户通过该系统可以下发如缓存文件类型、缓存时间、去参数缓存等缓存规则，以提升缓存系统的运作效率。

三、 CDN如何解决互联网内容分发所面临的问题？

下面，从用户体验、源站性能与成本以及业务安全这三个方面来看看CDN是如何解决问题的。

，用户体验问题

首先，CDN可以为用户提供诸多的就近接入的节点。

阿里云CDN建立了一张覆盖全球六大洲70多个国家的2800多个的节点，全网具备了130Tbps的带宽输出能力，基本上覆盖了国内以及做海外的主要运营商。依托丰富的资源节点覆盖，阿里云CDN能够让用户就近接入同运营商节点，解决跨运营商互联互通、远距离访问时延大等用户体验问题。

其次，提升用户体验的第二点是需要提供精准的调度能力，阿里云CDN在这里是提供了4项关键的优化措施：

1、持续更新的精准IP数据库：IP数据库的作用是在用户的DNS解析请求转发到了CDN调度系统时，调度系统会判断用户的地区和运营商归属，以此来为用户分配就近接入的同运营商CDN节点。为了确保IP数据库的数据处于新的状态，数据库一直在持续地更新。

2、提供HTTPDNS服务（需要客户端兼容）：采用HTTPDNS这项技术使得用户终端可以绕开运营商的local DNS，直接采用HTTP协议去访问调度系统，请求所需要访问的域名的优接入节点，这样可以避免DNS劫持所带来的业务安全问题。

3、节点数据分析：CDN调度系统通过链路状态系统去实时地分析整个缓存系统中的所有节点和链路的健康状况，为用户选择优的接入节点，避免因为接入节点质量不佳而影响到用户访问体验。

4、基于内容调度，提高访问命中率：在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术，302调度是一种中心调度方案，用户在请求某一个资源的时候，在完成域名DNS解析之后，用户请求将会先访问到中心调度系统上，然后中心调度系统将会解析用户请求需要访问的内容，再通过302重定向的方式为用户分配佳接入节点。

通过采用以上4项优化措施，能够为用户提供更加精准的调度能力，从而让用户能够接入佳的CDN节点。

CDN常见的三种调度方案简单对比如下图所示：

这里简单说明下这三种常见的CDN调度方式的优缺点：

（1）DNS调度是常用和通用的调度方案，缺点是存在DNS劫持的风险，调度的度也会差一些；

（2）302调度非常适合用在大文件下载和视频点播这两个应用场景，优点是可以提高调度的度，缺点是将会增加首包的时延（在大文件下载和视频点播场景下对首包时延不太敏感，而对调度度要求更高）

（3）HTTPDNS调度的优点是有较高的安全性（可以规避DNS劫持风险）和调度度，但是有个很大的缺点，需要客户端提供支持（例如在手机APP上嵌入SDK），通用性较差。

再次，提升用户体验的第三个优化点是对传输链路做智能优化

1、协议优化：通过调整拥塞算法、丢包探测算法等优化措施，对TCP协议栈的性能做了大幅度提升，尤其对弱网环境下的网络性能提升明显；

以下两张带宽利用率对比图，左边是标准TCP传输协议，在建立TCP连接之后，需要通过相对更长的时间去提升带宽利用率，一旦碰到丢包情况，带宽利用率会快速下跌，并且需要经历慢速爬坡阶段才能够逐步提升带宽利用率，尤其在弱网环境下，使用标准TCP协议的情况下，带宽利用率的下降会非常的严重。右侧是阿里云优化后的TCP协议，通过快速启动、主动拥塞探测和快速丢包恢复等技术优化措施，能够提供更高的带宽利用率，即使在网络条件相对差一些的情况下，也可以有比较好的优化效果。