文生视频再添强者!智谱CogVideoX开源版极速上手

373 阅读1分钟

项目地址github.com/THUDM/CogVi…

真的是一个炸裂的消息。智谱开源了文生视频大模型!

赶紧上手试验一把!

1. 准备环境

使用docker来部署,避免本地CUDA版本不一致,详情参考 教程

2. 安装依赖

在容器内完成这些步骤:

apt-get update
apt-get install python3 python3-pip cmake build-essential pkg-config libgoogle-perftools-dev

# 安装sentencepiece
git clone https://github.com/google/sentencepiece.git 
cd sentencepiece
mkdir build
cd build
cmake ..
make -j $(nproc)
make install
ldconfig -v
pip install sentencepiece

cd ~
git clone https://github.com/THUDM/CogVideo.git
pip install -r requirements.txt
pip install gradio spaces moviepy imageio

参考教程来高速下载模型文件

3. 运行项目

python3 gradio_demo.py

我们来对比一下开源版本和智谱官网上体验中心制作的效果

开源版: image.png

20240806_083619.gif

官方版:

image.png

开源版: image.png 官方版:

image.png

4. 中文提示词

这个视频是使用中文提示词生成的,但是你肯定猜不到提示词是什么。 因为开源的这个版本不支持中文,写的提示词是:

比得兔(主体)开小汽车(主体描述),游走在马路上(环境描述),脸上的表情充满开心喜悦(氛围设定)

但是生成的却是这个辽阔的镜头画面。

20240806_084313.gif