Colab专业版与免费版的对比 - AI计算性能
GPU加速值得花10美元的月费吗？
动机。当我考虑是否要为Colab Pro支付10美元的升级费时，我主要关心的是 "GPU加速值得月费吗？"遗憾的是，我没能找到一个好的渠道来回答这个问题，所以我写了这个故事来帮助像我这样的人。
**我应该升级到Colab Pro吗？**如果你在谷歌上搜索这个问题，你会发现很多好的文章。比如说。
- Dario Radečić的GPU、RAM、高级训练时间比较：https://towardsdatascience.com/colab-pro-is-it-worth-the-money-32a1744f42a8
- Colab Pro的主要特点：https://colab.research.google.com/signup
- Reddit讨论：https://www.reddit.com/r/MachineLearning/comments/f0wm0l/n_colab_pro_more_ram_longer_run_time_faster_gpus/
为了给正在进行的讨论带来一些新的东西，我将用这篇文章来深入探讨它们在谷歌Colab背景下的人工智能计算性能差异。
背景介绍
要比较不同Colab层级的人工智能计算性能，仅看硬件规格是不够的。最好的方法可能是在专业版和免费版上运行实际的、固定的AI模型，看看它们完成固定训练工作的运行时间。
比较工具
为了进行比较，我们使用AI基准，一个来自Github的开源工具。这个工具是由苏黎世联邦理工学院的一群研究人员开发的，它通过运行下面的代码来工作。当我们执行该代码时，该工具会收集19个不同机器学习模型在特定数据集上的训练和推理时间。
计分
除了时间之外，该基准还以预先定义的分数来评估训练、推理和整体的人工智能性能。尽管该工具没有明确解释得分公式，但我研究了它的源代码，并总结了以下公式。
训练分数的计算。图片由作者提供
虽然是训练分数的计算公式，但推理分数的计算也是类似的，然后将它们的总和作为人工智能的总分。我假设你可能想在下面的内容中更多地关注训练性能方面，因为Colab更多地被用作研究工具而不是部署。
比较
基准测试是在以下情况下进行的。
- 只用CPU的Colab免费（实验链接
- Colab free with T4(实验链接)
- 只有CPU的Colab pro(实验链接)
- 使用P100的Colab pro(实验链接)
- 使用V100的Colab pro(实验链接)
Colab在免费版中支持K80，但已经有一段时间没有看到它了，所以没有包括在内。至于P100和V100，是由Colab Pro随机给予的。通常情况下，P100被授予更大的机会。
图片由作者提供
注意。 为了便于观察，并非所有的信息都包括在图表中。这些模型是由不同的数据集训练出来的，所以比较不同模型的运行时间不会有很大帮助。
训练得分排名
- 带有V100的Colab pro -16289分
- 带有P100的Colab pro -11428分
- 使用T4的Colab free -7155分
- 只使用CPU的Colab免费版**-187**分
- 仅使用CPU的Colab pro**- 175**分
观察
我创建了这个谷歌表格以包括更多的细节。从那里，你可以有以下的观察。
- 平均来说，使用V100和P100的Colab Pro分别比使用T4的Colab Free快146%和63%。(来源："比较 "表，表E6-G8)
- 即使Colab Pro的GPU普遍较快，但仍然存在一些异常值；例如，Pixel-RNN和LSTM在V100上的训练速度比T4慢9%-24%。(来源："比较 "表，表C18-C19)
- 当只使用CPU时，专业版和免费版都有类似的表现。(来源："训练 "表，B和D栏)
总结
如果你把漫长的训练时间看作是研究过程中的一个痛点，我强烈建议你升级到Colab Pro。例如，我发现自己每个月花在Colab上的时间超过20小时，其中近50%的时间花在模型训练上。因此，Colab Pro每月为我节省了超过20*0.5=10小时。而如果我不是Colab的重度用户，或者有其他地方可以加速模型训练，用这10美元给自己买个夏威夷Piazza似乎是个更好的主意。
同样，这篇文章只关注人工智能的计算性能。在 做决定之前，你肯定应该考虑其他方面，如内存、运行时间等等。
免费的4 x V100 GPU
如果你正在寻找更多的免费GPU资源，我想介绍一下AIbro，这是一个无服务器的模型训练工具，我和我的朋友目前正在研究。它可以帮助你用一行代码在AWS上训练AI模型。为了收集更多早期采用者的反馈，我们现在为你免费提供p3.8xlarge（4 x V100）的使用权。更多细节，你可能想看看我之前的报道。
AIpaca公司。图片由作者提供
Colab Pro Vs Free - AI计算性能最初发表在Medium上的Towards Data Science，人们通过强调和回应这个故事继续对话。
