Python算法工程师:心中无码便是高清,马赛克“脑补”算法 PULSE

160 阅读4分钟

实验表明,PULSE 算法的效果最佳,得分几乎与真实的高质量照片一样高

通过上图,可以清晰地看到,PULSE 算法在人脸不同位置的纹理细节。

不过 PULSE 算法也有一定的局限性,它无法将失焦、不能识别的人脸照片,变成照片真人的清晰图像,它仅会生成不存在但看上去很真实的新面孔

说白了,PULSE 生成的高清图片,是「脑补」出来的,与真实的人脸照片可能存在差别。

3

环境搭建

PULSE 算法采用 Pytorch 实现,使用了 dlib 人脸库的一些 API。

项目地址:

github.com/adamian98/p…

环境搭建不复杂,工程里的 pulse.yml 文件,已经写明了依赖环境。

name: pulse

channels:

  • pytorch

  • defaults

dependencies:

  • blas=1.0=mkl

  • ca-certificates=2020.1.1=0

  • certifi=2020.4.5.1=py38_0

  • cffi=1.14.0=py38hc512035_1

  • chardet=3.0.4=py38_1003

  • cryptography=2.9.2=py38ha12b0ac_0

  • cycler=0.10.0=py38_0

  • freetype=2.9.1=hb4e5f40_0

  • idna=2.9=py_1

  • intel-openmp=2019.4=233

  • jpeg=9b=he5867d9_2

  • kiwisolver=1.2.0=py38h04f5b5a_0

  • libcxx=10.0.0=1

  • libedit=3.1.20181209=hb402a30_0

  • libffi=3.3=h0a44026_1

  • libgfortran=3.0.1=h93005f0_2

  • libpng=1.6.37=ha441bb4_0

  • libtiff=4.1.0=hcb84e12_0

  • matplotlib=3.1.3=py38_0

  • matplotlib-base=3.1.3=py38h9aa3819_0

  • mkl=2019.4=233

  • mkl-service=2.3.0=py38hfbe908c_0

  • mkl_fft=1.0.15=py38h5e564d8_0

  • mkl_random=1.1.0=py38h6440ff4_0

  • ncurses=6.2=h0a44026_1

  • ninja=1.9.0=py38h04f5b5a_0

  • numpy=1.18.1=py38h7241aed_0

  • numpy-base=1.18.1=py38h6575580_1

  • olefile=0.46=py_0

  • openssl=1.1.1g=h1de35cc_0

  • pandas=1.0.3=py38h6c726b0_0

  • pillow=7.1.2=py38h4655f20_0

  • pip=20.0.2=py38_3

  • pycparser=2.20=py_0

  • pyopenssl=19.1.0=py38_0

  • pyparsing=2.4.7=py_0

  • pysocks=1.7.1=py38_0

  • python=3.8.2=hf48f09d_13

  • python-dateutil=2.8.1=py_0

  • pytorch=1.5.0=py3.8_0

  • pytz=2020.1=py_0

  • readline=8.0=h1de35cc_0

  • requests=2.23.0=py38_0

  • scipy=1.4.1=py38h44e99c9_0

  • setuptools=46.2.0=py38_0

  • six=1.14.0=py38_0

  • sqlite=3.31.1=h5c1f38d_1

  • tk=8.6.8=ha441bb4_0

  • torchvision=0.6.0=py38_cpu

  • tornado=6.0.4=py38h1de35cc_1

  • urllib3=1.25.8=py38_0

  • wheel=0.34.2=py38_0

  • xz=5.2.5=h1de35cc_0

  • zlib=1.2.11=h1de35cc_3

  • zstd=1.3.7=h5bba6e5_0

  • pip:

  • dlib==19.19.0

prefix: /path/to/your/anaconda3/envs/pulse

直接使用 pulse.yml 文件,用 Anaconda 进行环境配置。

修改 pulse.yml 文件中 prefix 的路径为你的 Anaconda 路径,然后使用指令创建环境:

conda create -f pulse.yml

这是官方推荐的方法。亲测,依然遇到了一些依赖问题。

最后一个一个依赖包安装才解决,所以我建议是使用 Anaconda 通过第三方库的包名安装,不用管版本啥的,例如:

conda install ca-certificates requests

libcxx、libedit 等这类的 lib 库不用安装,Anaconda 在创建 Python 环境的时候已经安装好了。

这里面稍微难安装的就是 dlib,dlib 需要使用 cmake 进行编译,所以需要先安装好 cmake,这里使用 pip 安装即可:

python -m pip install cmake dlib

都搞定了,环境就算搭建完成了。

4

效果测试

PULSE 项目地址:

github.com/adamian98/p…

下载项目到本地:

git clone github.com/adamian98/p…

项目提供了 pretrained model ,模型放在了 Google Drive ,不能翻墙的无法下载。

所以我将模型下载好,上传到了我的百度网盘。

下载地址(提取码:3gpq):

pan.baidu.com/s/13NZ8RY8K…

在工程目录,创建 cache、realpics 两个文件夹,将下载好的三个文件放到 cache 文件夹内。

然后将下图放到 realpics 文件夹内,我们以此图为例,进行测试。

图片下载地址:

cuijiahua.com/wp-content/…

首先,我们使用 align_face.py 对图片 downscale。

python align_face.py

程序使用 dlib 检测人脸框,并对检测到的人脸进行降低分辨率处理,默认降低为 32x32 分辨率的图片。

生成的图片会放到 input 文件夹内,如果将图片放大到 1024x1024,就是相当于一张布满马赛克的图片。

有了这张 LR 图片,也就是低分辨率图片,使用 PULSE 算法,看下「脑补」效果吧!

python run.py -steps=2000

运行 run.py ,迭代 2000 steps,在 runs 文件夹下就会生成“去除”马赛克后的「脑补」图。

「脑补」图跟原图还是有些神似的!

5

争议

我们都知道,今年 5 月 25 日美国的「跪杀黑人」事件。

由此引发了美国有史以来,最大规模的游行抗议。

6 月份,吃“美国瓜”的人应该不在少数,比如我就在 YouTube 上吃了一个月的瓜。

每个国家都有自己的敏感话题

而美国,现在的敏感话题就是「种族歧视」。

PULSE 算法惹了大麻烦。

PULSE 采用 CelebA-HQ 训练的模型,数据集都是白人,因此算法「脑补」出的也都是白人脸

这在如今高喊「黑命贵」的美国,无疑是一股扎眼的“逆流”。

最后

不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~

给大家准备的学习资料包括但不限于:

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

了解详情:docs.qq.com/doc/DSnl3ZG…