Oasis——AI游戏(Minecraft视觉图像游戏?)本地运行 | 豆包MarsCode AI刷题

378 阅读1分钟

这也算是AI相关吧 :)

1. Oasis游玩地址

Oasis!

image.png

可以游玩5分钟,每次游玩完要重新排队(不过我刚才玩的时候没人

2.Oasis技术报告:

Oasis

Generating Worlds in Realtime

oasis-model.github.io/

主要讲解了技术框架和性能

该模型由两个部分组成:一个空间自动编码器和一个潜变量扩散骨干网络。二者均基于Transformer架构:自动编码器基于ViT[1],骨干网络基于DiT[2]。与近期的行动条件化世界模型(如GameNGen[3]和DIAMOND[4])不同,我们选择了Transformer,以确保在Etched的Transformer ASIC(Sohu)上实现稳定、可预测的扩展性和快速推理。

Oasis的github地址:github.com/etched-ai/o…

3.Oasis的本地部署

首先进入Oasis官方的github,按照教程走就可以:

git clone https://github.com/etched-ai/open-oasis.git
cd open-oasis
# Install pytorch
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
# Install other dependencies
pip install einops diffusers timm av

这里注意自己的cuda版本要和这里的torch要求版本对上

然后进入huggingface进行模型下载 首先可以在这设置获取token:

huggingface.co/settings/to…

这里获取模型地址,同意信息即可获得模型access:

huggingface.co/Etched/oasi…

huggingface-cli login

login直接右键粘贴token即可,先不用添加为credential git

huggingface-cli download Etched/oasis-500m oasis500m.pt # DiT checkpoint
huggingface-cli download Etched/oasis-500m vit-l-20.pt  # ViT VAE checkpoint

下载模型之后根据终端输出,找到模型oasis500m.pt和vit-l-20.pt,然后拖拽至open-oasis的根目录下:

运行generate.py

python generate.py

出现这个进度即为GPU开始工作了 image.png

运行之后会生成video.mp4文件