本文已参加「新人创作礼」活动，一起开启掘金创作之路。

一、前言

这篇文章是AttnGAN: Fine-Grained TexttoImage Generation with Attention（带有注意的生成对抗网络细化文本到图像生成）的代码复现博文，我边做边写，展示详细步骤、踩坑和debug的过程。

论文地址： arxiv.org/pdf/1711.10…

论文阅读笔记：Text to image论文精读 AttnGAN

二、下载代码和数据集

（下载链接如果打不开，翻到文末）

1、首先在github上下载模型代码：github.com/taoxugit/At…（此为Python2.7版本）

:star2::star2::star2:最近在github上找到了AttnGAN的python3版本，可以有效避免很多语法错误，推荐下载（22年2月28日更新）:star2::star2::star2:： github.com/davidstap/A…

2、下载为鸟类预处理的元数据：drive.google.com/open?id=1O_… 并将其保存到data/

3、下载鸟类图像数据：www.vision.caltech.edu/visipedia/C… 将它们提取到data/birds/。 :star2::star2::star2:若该链接打不开可下载这个，内容是一样的（22年2月28日更新）:star2::star2::star2:：drive.google.com/file/d/1hbz…

4、下载完后目录如下：

三、搭建环境

1、首先配置好解释器

2、然后安装环境

pip install python-dateutil pip install easydict pip install pandas pip install torchfile nltk pip install scikit-image

可能需要额外安装的环境，根据提示进行补充：

pip install torchvision

四、预训练DAMSM 模型(也可以跳过这步骤，直接下载预训练模型)

python pretrain_DAMSM.py --cfg cfg/DAMSM/bird.yml --gpu 0

可能出现的问题1：'EasyDict' object has no attribute 'iteritems' 问题原因：Python3中:iteritems变为items 解决方案：根据提示将iteritems改为items

可能出现的问题2： 'EasyDict' object has no attribute 'has_key' 问题原因：Python3以后删除了has_key()方法 解决方案：将 b.has_key(k):改为if k in b

可能出现的问题3： module 'torch._C' has no attribute '_cuda_setDevice' 问题原因：环境问题，环境没配好 解决方案：卸载原环境，重新配置pytorch

可能出现的问题4：name 'xrange' is not defined 问题原因：xrange是python2的用法，在python3中range与xrange已经合并为range了。 解决方案：把用到的程序里的xrange( )函数全部换为range( )

可能出现的问题5： 'ascii' codec can't decode byte 0x80 in position 0: ordinal not in range(128) 问题原因：读取文件时的解码问题 解决方案：更改为： class_id = pickle.load(f, encoding='bytes')

可能出现的问题6：IndexError: list index out of range 问题原因：代码问题，数组超限 解决方案： 将 if i < (cfg.TREE.BRANCH_NUM - 1):改为 if i < (cfg.TREE.BRANCH_NUM - 2):

可能出现的问题7：IndexError: invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python number 问题原因：在pytorch高版本用item() 解决方案：将【0】改为.item()

可能出现的问题8：OSError: cannot open resource 问题原因：ImageFont.truetype('Pillow/Tests/fonts/FreeMono.ttf', 50)，环境里没有FreeMono这个字体 解决方案：更换字体，更改为： fnt = ImageFont.truetype('Pillow/Tests/fonts/arial.ttf', 40)

五、运行

1、预训练模型的下载（选做）

如果做了第四步，可以直接进入下一小节

如果没有做第四步，首先下载别人已经训练好的预训练模型： drive.google.com/open?id=1GN…将其保存到DAMSMencoders/

下载drive.google.com/open?id=1lq…并将其保存到models/

2、运行

训练GAN：python main.py --cfg cfg/bird_attn2.yml --gpu 1 运行：python main.py --cfg cfg/eval_bird.yml --gpu 1 以从“./data/birds/example_filenames.txt”中列出的文件中的标题生成示例。结果保存到DAMSMencoders/.

可能出现的问题1：‘str‘ object has no attribute ‘decode 问题原因：Python2和Python3在字符串编码上的区别。 解决方案：.encode(‘utf-8’). decode(‘utf-8’) ) #先编码再解码： filenames = f.read().encode('utf8').decode('utf8').split('\n') sentences = f.read().encode('utf8').decode('utf8').split('\n')

可能出现的问题2：FileNotFoundError: [Errno 2] No such file or directory:'../data/birds/text/180.Wilson_Warbler/Wilson_Warbler_0007_175618.txt' 问题原因：该文件没找到， 路径问题 解决方案：更改为正确的路径，如果text是处于压缩状态要解压。

可能出现的问题3：RuntimeError: CUDA out of memory. Tried to allocate 40.00 MiB (GPU 0; 4.00 GiB total capacity; 2.86 GiB already allocated; 33.84 MiB free; 20.86 MiB cached) 问题原因：GPU性能不足（但依然还是能跑出结果，结果在AttnGAN-master\models\bird_AttnGAN2\example_captions中） 解决方案：花钱升级硬件或者放到服务器

六、实验结果 可以在这里输入相应测试的文本 然后在这里就可以看到生成的各个阶段的图像和注意力机制的应用。 在这里可以选择采样数据集

然后在这里可以看到采样生成的图像。

部分实验结果如下：

1.this bird is yellow with white and has a very long beak 2.this bird has wings that are blue and has a red belly

3.this bird is yellow with white on its head and has a very short beak

六、资源下载

打不开网址的可以点击：download.csdn.net/download/ai… 该文件除了需要下载配置好图像数据集（二-3），其他都是配置好了的