前言
在大模型飞速发展的今天，我们可能非常想要投入到一些有意思的模型研究/应用中去，但很多时候我们可能并不太了解会需要消耗怎样的资源来支撑这样的研究/应用。今天以一个非常有意思的项目为例来看看这类大模型应用到底有多吃资源。
项目简介
最近看到一个非常有意思的项目：story adaptor。它是做什么的呢？简单来说他是一个故事可视化生成工具，通过输入文本能够自动产生一系列语义相关的，高质量的图片。这在一些场景下是非常有用的，例如生成儿童故事绘本。项目地址，论文地址。
项目部署
参考项目的安装指令，在云上有GPU资源的地方进行项目部署。
操作后，能看到资源占用在不断的增长。（太吃资源了。。。。。。。。近100G的disk，GPU内存也在不断的增长）
运行到最后,16G的显存还是out of memory了。没跑起来，暂时放弃。
总结
类似这样基于大模型的项目，一般来说都是比较吃资源的。目前很多看起来有意思的项目，可能大部分单卡不一定能够带的动。先不说训练，推理基本上都需要多卡进行分布式推理。对于资源受限的爱好者来说门槛就比较高了（当然如果愿意的话可以花钱买算力）。本文主要以部署story adaptor项目为例，来感受一下部署一个大模型应用可能耗费的资源，认知到门槛。
点赞关注不迷路~
