什么是Stable Diffusion 3 ?
Stable Diffusion 3(SD3)是Stable Diffusion系列的最新版本,是一款先进的图像生成模型,基于深度学习和扩散模型技术。该模型通过大量参数和复杂的算法,能够生成高质量、细节丰富的图像。Stable Diffusion 3的设计目标是提升图像生成的精度和速度,同时扩大应用范围,使其更易于在消费级硬件上运行。
官方开放的是Stable Diffusion 3 Medium 模型,该模型是其迄今为止最先进的文本到图像开放模型,包含 20 亿个参数。 该模型体积小、适合在消费级PC和笔记本电脑上运行的优点,因此普通用户也可以将其部署在自己的电脑上使用。
SD3 Medium的主要特点
1. 高质量图像生成 SD3 Medium 能生成细节逼真、色彩鲜艳、光照自然的照片级图像。无论是人物肖像、风景画,还是抽象艺术,SD3 Medium都能胜任。
2. 多样化风格适应 SD3 Medium 能够灵活适应多种图像风格,无需复杂的微调。用户只需通过提示词,就能生成如动漫、厚涂等多种风格的图像。这使得创作过程更加便捷和高效。
3. 复杂语言理解 该模型能够理解复杂的自然语言提示,包括空间推理、构图元素、姿势动作和风格描述等。SD3 Medium 可以准确生成复杂内容的图像,甚至在处理文本提示时,比一些其他模型(Midjourney)更为精准。
4. 先进的架构 SD3 Medium 采用了Diffusion Transformer架构,这使得其在文本拼写、字距等方面更加正确合理。该架构提高了模型的整体性能和生成效果。
5. 优化的硬件要求 SD3 Medium可以在消费级PC和笔记本电脑上高效运行。相比于需要高端硬件的其他深度学习模型,SD3 更加普及和易用。
优缺点
优点:
- 图像质量高:生成图像细节丰富、色彩鲜艳,逼真度高。
- 适应性强:能生成多种风格的图像,灵活适应用户需求。
- 语言理解能力强:能准确理解并生成复杂自然语言提示的内容。
- 易用性好:优化后的模型可以在普通硬件上运行,降低了使用门槛。
- 先进架构:Diffusion Transformer架构提升了文本处理和生成效果。
缺点: - 硬件要求:虽然已优化,但运行大规模模型仍需要一定的硬件性能。
- 学习曲线:初学者可能需要一些时间来熟悉和掌握该模型的全部功能。
- 使用限制:在未经官方许可的情况下,模型不得用于商业用途。
推荐使用
如果你本地的电脑硬件条件不满足运行要求,可以在猫目平台上一键运行sd3应用,开启你的创作!
猫目网站,网址:猫目 - 探索AIGC无限可能
使用步骤也很简单,如下步骤:
1. 选择SD3 Medium应用
2. 选择显卡配置
3. 启动应用
4. 开始创作
sd3_medium_incl_clips_t5xxlfp8.safetensors模型
我们先来看一下效果:如下面的工作流使用的是sd3_medium_incl_clips_t5xxlfp8.safetensors模型,该模型包含所有必要的权重,包括 T5XXL 文本编码器的 fp8 版本,所以在使用时,不需要使用文本编码器。
提示词:Create a realistic illustration of a female teacher wearing a professional uniform. She should have a kind and approachable expression, with her hair neatly styled. The uniform should include a blazer, blouse, and skirt, in professional colors such as navy blue or black. She is standing in a modern classroom, with a whiteboard and students' desks visible in the background. Ensure the lighting is bright and natural, emphasizing her professional and friendly demeanor.
中文:创建一个穿着职业制服的女教师的逼真插图。她的表情应该是友善平易近人的,头发梳理得整整齐齐。制服应包括西装外套、衬衫和裙子,采用专业颜色,如海军蓝或黑色。她站在一间现代化的教室里,背景中可以看到白板和学生的课桌。确保灯光明亮自然,强调她专业和友善的风范
效果图:
上面是带有ControlNet 和 Canny 边缘检测功能的。下面来看不带ControlNet 的。
工作流:
提示词:Create a charming and whimsical illustration of a cat teaching in a classroom. The cat is standing on its hind legs, wearing a tiny teacher's uniform, and pointing at the blackboard with a paw. On the blackboard, the words '猫目 - 探索AIGC无限可能' are clearly written. The classroom should have a warm and inviting atmosphere, with desks and chairs for students, and some educational posters on the walls. Ensure the lighting is bright and cheerful, highlighting the playful and endearing nature of the scene.
中文:创作一幅迷人而异想天开的猫在教室里教学的插图。猫后腿站立,穿着小小的教师制服,用爪子指着黑板。黑板上,清晰地写着maomu.com。教室应该有一个温馨宜人的氛围,配有学生桌椅,墙上贴有一些教育海报。确保灯光明亮、欢快,突出场景俏皮可爱的本质。
效果图:
sd3_medium.safetensors模型
sd3_medium.safetensors包含 MMDiT 和 VAE 权重,但不包括任何文本编码器,所以使用该模型时,需要配合使用文本编码器。
工作流:
区别就是这一部分,其它的大差不差。
通过以上的介绍,我们已经探讨了如何在ComfyUI中高效使用SD3模型。无论你是新手还是有经验的用户,掌握这些技巧都可以极大地提升你的创作效率和结果。SD3模型的强大功能与ComfyUI的友好界面相结合,为你提供了一个强大的工具,能够帮助你实现更多创意和灵感。希望这篇指南能为你的工作带来启发,让你在使用SD3模型的过程中更加得心应手。如果你有任何问题或需要进一步的支持,欢迎随时交流和探索。祝你在创作旅程中不断突破,取得令人惊艳的成果!