Stable Diffusion 商业变现与绘画大模型多场景实战「完整fx」

177 阅读2分钟

Stable Diffusion 商业变现与绘画大模型多场景实战

核心代码,注释必读

// download:3w ukoou com

商业变现与绘画大模型多场景实战 - Stable Diffusion介绍

Stable Diffusion是2022年发布的深度学习文本到图像生成模型。 它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的转变。 它是一种潜在扩散模型,由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。

Stable Diffusion

Stable Diffusion是一种机器学习模型,它经过训练可以逐步对随机高斯噪声进行去噪以获得感兴趣的样本,例如生成图像。

扩散模型有一个主要的缺点就是去噪过程的时间和内存消耗都非常昂贵。这会使进程变慢,并消耗大量内存。主要原因是它们在像素空间中运行,特别是在生成高分辨率图像时。

Latent diffusion通过在较低维度的潜空间上应用扩散过程而不是使用实际的像素空间来减少内存和计算成本。所以Stable Diffusion引入了Latent diffusion的方式来解决这一问题计算代价昂贵的问题。

1、Latent diffusion的主要组成部分

Latent diffusion有三个主要组成部分:

自动编码器(VAE)

自动编码器(VAE)由两个主要部分组成:编码器和解码器。编码器将把图像转换成低维的潜在表示形式,该表示形式将作为下一个组件U_Net的输入。解码器将做相反的事情,它将把潜在的表示转换回图像。

在Latent diffusion训练过程中,利用编码器获得正向扩散过程中输入图像的潜表示(latent)。而在推理过程中,VAE解码器将把潜信号转换回图像。

Stable Diffusion 商业变现与绘画大模型多场景实战 - 动态提示词

一键生成N风格图片,提高绘图效率

A girl with {black|pink|blue|white} hair in a white dress by {2$$leonid afremov|Vincent william van gogh|picasso}
艺术家分别是:列昂尼德·阿夫雷夫|文森特·威廉·梵高|毕加索

这些符号格式什么的大家先别急,先跟着跑图试试,我们点击生成(注意你们跟着教程做的话,其他参数应该是紧跟上面的参数的,我没做改变)

这里生成的时间会有点久,等待一下,然后我们看上面生成的图,他的头发和艺术风格都是跟着关键词控制的(关于这个艺术家风格在这个模型跑的风格不是很还原,这是模型的原因,强调一下是教程演示!)