FramePack 是由 ControlNet 作者、斯坦福大学博士生张吕敏 (Lvmin Zhang) 团队近期开源的视频生成框架, 它通过创新的神经网络架构,有效解决了传统视频生成中显存占用高、漂移和遗忘等问题。
传统视频生成模型受限于计算负载与视频长度的强关联性,导致显存需求随视频时长指数级增长,普通用户往往因硬件限制而难以生成高质量的长视频。而 FramePack 则是压缩了输入帧的上下文信息,使视频生成的计算负载不再与时长强相关,仅需 6GB 显存即可生成 120 秒全帧率视频, 彻底打破了长视频生成对高性能硬件的依赖,成为了普通创作者的福音。
目前,「FramePack 低显存视频生成 Demo」已上线至 OpenBayes 公共教程板块,点击下方链接即可一键部署 ⬇️
教程链接:
小贝使用 FramePack 生成了一段视频,占用资源少又能保证质量!
Demo 运行
01 Demo 运行阶段
1.登录 OpenBayes.com,在「公共教程」页面,选择教程 「FramePack 低显存视频生成 Demo」。
编辑搜图
2.页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
编辑搜图
3.选择「NVIDIA GeForce RTX 4090」以及「PyTorch」镜像,OpenBayes 平台提供了 4 种计费方式,大家可以按照需求选择「按量付费」或「包日/周/月」,点击「继续执行」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!
小贝总专属邀请链接(直接复制到浏览器打开):
编辑搜图
编辑搜图
- 等待分配资源,首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后,点击「API 地址」旁边的跳转箭头,即可跳转至 Demo 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
编辑搜图
编辑搜图
02 效果演示
在「Image」中上传图片,然后在「Prompt」中输入提示词,最后点击「Start Generation」生成。
参数调整简介:
-
Seed:控制生成视频时的随机性。
-
Total Video Length (Seconds):视频总时长(秒)。
-
Steps:步骤(建议不要修改此项)。
-
Distilled CFG Scale:蒸馏 GFC 刻度(建议不要修改此项)。
-
GPU Inference Preserved Memory (GB) (larger means slower):如果您遇到 OOM,请将此数字设置为更大的值。数值越大,速度越慢。
-
MP4 Compression:较低的值表示质量较好,「0」表示未压缩。
编辑搜图
编辑搜图
小贝上传了一张卡通的古风图片,模型很快就根据图片和提示词生成了对应的视频。
提示词为:
The girl dances gracefully, with clear
movements, full of charm.
编辑搜图