杜克大学提出 AI 算法，拯救渣画质马赛克秒变高清

2020-06-17 17:44:36

场景描述：将「马赛克」像素级别的大头照转换成高清照片，是一种怎样的体验？杜克大学提出的 AI 算法，不仅可以「去掉马赛克」，还能精细到每一道皱纹、每一根头发。你要试试吗？

在这个追求高清画质的时代，我们对渣画质的容忍度越来越低。

在知乎上搜索「低分辨率」、「渣画质」，会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。

那么，将渣到马赛克级别的画面秒变高清，是一种怎样的体验？杜克大学的研究人员用 AI 算法告诉你。

GitHub 链接：https://github.com/adamian98/pulse

前所未有，「马赛克」瞬间变高清

杜克大学的研究人员提出了一种 AI 算法，称之为 PULSE（Photo Upsampling via Latent Space Exploration，通过潜在空间探索的照片上采样）。

该算法可以将模糊、无法识别的人脸图像转换成计算机生成的图像，其细节比之前任何时候都更加精细、逼真。

根据输入的低分辨率图片，系统会生成一系列高清图像

如果用以前的方法，想要把一张模糊的「大头照」变清晰，多只能将这张照片缩放到原始分辨率的八倍。

但是杜克大学的团队提出了一种新的方法，仅在几秒钟内，就可以把 16x16 像素的低分辨率（Low Resolution，以下简称 LR）小图，放大 64 倍，变成 1024 x 1024 像素的高分辨率（High Resolution，以下简称 HR）图像。

他们的 AI 工具会「想象」出一些原本不存在的特征，即使是原本 LR 照片中无法看到的细节，比如毛孔、细纹、睫毛、头发和胡茬等，经过其算法处理后，都能看得一清二楚。

来看一个具体示例：

左图为原始低分辨率图像，右图为系统创建的高清图像

领导该团队的杜克大学计算机科学家辛西娅·鲁丁（Cynthia Rudin）说：「以前从来没有像现在这样，能用这么少的像素，就创造出拥有大量细节的超分辨率图像。」

在实际应用方向上，论文的共同作者 Sachit Menon 介绍称：「在这些研究中，我们只是用面部作为概念验证。

但从理论上讲，该技术是通用的，从医学、显微镜学到天文学和卫星图像，都可以通过该技术改善画质。」

打破传统操作，实现佳效果

虽说此前已经有很多类似的低清变高清的方法，但能够达到像素放大 64 倍级别的，还是业界。

传统方法：像素匹配，易出 bug

传统方法处理此类问题时，一般拿到 LR 图像后，会「猜测」需要多少额外的像素，然后试着将此前处理过的 HR 图像中相应的像素，匹配给 LR 图像。

而这种单纯匹配像素的结果是，像头发和皮肤的纹理这种区域，会出现像素匹配错位的现象。

而且该方法还会忽略了 HR 图像中，感光性等感知细节。所以终在平滑度、感光度上出现问题，结果依然会显得模糊或者不真实。

之前的一些方法，部分生成结果有点诡异

新方法：低清图像「连连看」

杜克大学的团队则提出的新方法，可以说是开辟了新的思路。

在拿到一张 LR 图像后，PULSE 系统不会慢慢添加新的细节，而是遍历 AI 生成的 HR 图像，将这些 HR 图像对应的 LR 图像与原图对比，找到接近的那张。

打个比方，相当于拿 LR 图片做个「连连看」，找到相似的 LR 版本，那么再反推回去，这张 LR 图像所对应的 HR 图像，就是终要输出的结果。

原始 LR 图片（上），PULSE 输出的 HR 图片（中）

HR 图片对应的 LR 图（下）

团队使用了生成对抗网络（简称 GAN ），它包括对同一张照片数据集进行训练的两个神经网络，即生成器与鉴别器。

其中，生成器模拟它所受过训练的人脸，提供 AI 创建的人脸，而鉴别器则获得了该输出，并确定它是否足以以假乱真。

随着经验的积累，生成器的经验会越来越好，直到鉴别器无法分辨出差异。

他们用一些真实图像进行试验，效果对比如下图所示：

上排为真实图片，中排为将真实图片下采样而来 LR 图像

下排为 PULSE 根据 LR 图像生成的 HR 图像

虽然生成的高分辨率图与原图仍有一些差距，但是这比以前的方法要清晰很多。

评估：优于其它方法，得分接近真实照片

团队在的高分辨率人脸数据集 CelebA HQ 上评估了其算法，用 64×，32× 和 8× 的比例因子进行了这些实验。研究人员要求 40 个人对通过 PULSE 和其他五种缩放方法生成的 1440 张图像进行 1 到 5 的评分，而 PULSE 的效果佳，得分几乎与真实的高质量照片一样高。