这也算是AI相关吧 :)
1. Oasis游玩地址
可以游玩5分钟,每次游玩完要重新排队(不过我刚才玩的时候没人
2.Oasis技术报告:
Oasis
Generating Worlds in Realtime
主要讲解了技术框架和性能
该模型由两个部分组成:一个空间自动编码器和一个潜变量扩散骨干网络。二者均基于Transformer架构:自动编码器基于ViT[1],骨干网络基于DiT[2]。与近期的行动条件化世界模型(如GameNGen[3]和DIAMOND[4])不同,我们选择了Transformer,以确保在Etched的Transformer ASIC(Sohu)上实现稳定、可预测的扩展性和快速推理。
Oasis的github地址:github.com/etched-ai/o…
3.Oasis的本地部署
首先进入Oasis官方的github,按照教程走就可以:
git clone https://github.com/etched-ai/open-oasis.git
cd open-oasis
# Install pytorch
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
# Install other dependencies
pip install einops diffusers timm av
这里注意自己的cuda版本要和这里的torch要求版本对上
然后进入huggingface进行模型下载 首先可以在这设置获取token:
这里获取模型地址,同意信息即可获得模型access:
huggingface-cli login
login直接右键粘贴token即可,先不用添加为credential git
huggingface-cli download Etched/oasis-500m oasis500m.pt # DiT checkpoint
huggingface-cli download Etched/oasis-500m vit-l-20.pt # ViT VAE checkpoint
下载模型之后根据终端输出,找到模型oasis500m.pt和vit-l-20.pt,然后拖拽至open-oasis的根目录下:
运行generate.py
python generate.py
出现这个进度即为GPU开始工作了
运行之后会生成video.mp4文件