iResearch666

paper https://arxiv.org/abs/2307.01097 code https://github.com/Tangshitao/MVDiffusion Abstract 全景图生成

paper https://arxiv.org/abs/2303.04671 code https://github.com/microsoft/TaskMatrix 动动嘴搞定图像任务

Shell 变量 在 Shell 脚本中，定义变量直接赋值即可，使用变量时需要在变量名前加美元符号$，注意定义变量时变量名和等号之间不能有空格。变量名的命名必须遵循以下规则： 命名只能使用英文字母，数

* 除了text-prompt文本提示作为输入，还增加了其它控制条件作为输入（文本+图像作为输入） * 在小数据集上（<50k）鲁棒性较好 * 是一个特定任务条件，且是一个end2end，

创建型模式 工厂方法 工厂方法模式建议使用特殊的工厂方法代替对于对象构造函数的直接调用 （即使用 new运算符）。 不用担心， 对象仍将通过 new运算符创建， 只是该运算符改在工厂方法中调用罢了。

* 模型架构分为两部分，图像编码器和文本编码器，图像编码器可以是比如 resnet50，然后文本编码器可以是 transformer。 * 训练数据是网络社交媒体上搜集的图像文本对。在训练阶段

自动编码器（Autoencoder，AE） https://arxiv.org/abs/2003.05991 原理 先将高维的原始数据映射到一个低维特征空间，然后从低维特征学习重建原始的数据。一个AE

1. 使用CLIP提取一个图像全局条件的token嵌入 2. 将全局控制信号用条件编码器hg投影到条件嵌入空间（条件编码器是由前馈层堆叠，可以将文本嵌入和图像条件嵌入对其到嵌入空间） 3. re

* key challenge: 合成照片写实级的保留衣服细节，同时形变到相应的人体姿态和形态上 * 本文提出了diffusion-based架构，统一了2个UNets，即为paralle-U