近期，阿里魔搭社区发布了一款开源图像和视频生成整合引擎—DiffSynth Studio，它是专门用于图像和视频生成的工具。
这款工具的亮点在于将 SVD 视频生成能力延伸至 128 帧，生成效果非常惊艳！如果你对图像和视频生成有需求，这个开源引擎绝对值得一试。
项目介绍
DiffSynth Studio 是一个基于扩散模型的引擎，特别适合从事图像和视频生成任务的用户。
简单来说，它通过优化架构和计算性能，帮助你更高效地生成图像和视频，无论是短视频的炫酷效果，还是图像的精细调整，它都优化得很好。
值得一提的是，它不仅支持多种主流模型，还包含了丰富的功能，可以满足各种生成需求。
核心亮点
1、🎨 多模型支持，玩转生成任务
支持包括 FLUX、Stable Diffusion 3、Hunyuan-DiT 等多种模型，提供丰富的生成和编辑功能，如长视频生成、图像生成和视频样式化。
2、🚀 高效部署与使用，降低门槛
如果你担心使用这样高大上的工具会很复杂，那就大可不必。
DiffSynth Studio 提供了两种非常友好的 WebUI 版本——Gradio 和 Streamlit。
用户只需通过简单的命令，即可快速运行和体验 AI 辅助的图像生成。这对于那些并非程序员出身的创作者来说，简直是福音。
无需复杂的配置，你只需关注创意本身，DiffSynth Studio 帮你搞定其他技术上的难题。
3、💻 扩展性与优化，提升生成质量
在技术细节方面，DiffSynth Studio 对多个核心组件进行了重构，比如 Text Encoder 和 UNet。
Text Encoder 用于将文本信息转换为模型能够理解的编码，从而提高图像或视频生成的准确性。而 UNet 则是负责图像或视频的生成与修复，这种优化使得生成的内容更加自然和逼真。
此外，DiffSynth Studio 还兼容开源社区的模型，意味着你可以结合现有的开源资源，进一步扩展其功能。
同时，通过 CFG（Classifier-Free Guidance）和高分辨率修复等功能，你可以显著提升生成内容的质量。这些技术上的优化，保证了生成的图像和视频不仅高效，而且效果出众。
DiffSynth Studio的优势？
-
高效的生成体验：在优化架构和计算性能后，DiffSynth Studio 能够更快速地生成高质量的图像和视频。
-
丰富的功能和模型支持：无论是图像生成、视频生成，还是编辑功能，DiffSynth Studio 都为你提供了丰富的选择。
-
便捷的使用方式：无需复杂的配置，简单的命令操作即可体验强大的生成能力。
在线体验和部署
DiffSynth Studio 已经在 GitHub 上获得了 6.2K 的 Star，并且可以直接在 HuggingFace 或 ModelScope 两个模型平台上体验它的功能。
(体验了一下性能上可能比较吃力，也可能算力紧张ps:相关链接放文末了！)
当然如果你是一个资深的程序员或AI设计师，在有资源的情况下也可以自己部署到本地或服务器上。
刚刚也在上面说了它有两个（WebUI）版本可供我们使用：Gradio 、 Streamlit。
Gradio
pip install streamlit streamlit-drawable-canvas # 安装依赖
python -m streamlit run apps/streamlit/DiffSynth_Studio.py # 运行项目
Streamlit
pip install streamlit streamlit-drawable-canvas # 安装依赖
python -m streamlit run apps/streamlit/DiffSynth_Studio.py # 运行项目
结语
在如今这个快速发展的技术时代，像 DiffSynth Studio 这样集成了多种生成模型和功能的工具，无疑为创作者提供了极大的便利。
它不仅简化了操作流程，更重要的是为我们打开了一扇通往无限创意的大门。无论你是视频博主、插画师，还是仅仅想尝试创作的技术爱好者，DiffSynth Studio 都值得你去探索。
开源地址：https://github.com/modelscope/DiffSynth-StudioHuggingFace：https://huggingface.co/spaces/modelscope/ExVideo-SVD-128f-v1ModelScope：https://modelscope.cn/studios/ECNU-CILab/ExVideo-SVD-128f-v1
