论文阅读

1. 模型简介 Dit来自论文《Scalable Diffusion Models with Transformers》，是构成Sora文生视频的核心。在Stable Diffusion中，image

1. 创新点 在传统的文字-视频检索领域丢弃了多模态信息，或者仅仅使用门控机制来处理某些维度信号。 因此提出了一种多模态Transformer，能够对视频中的不同模态进行联合编码，从而允许他们各自关注

1. 创新点 提出了一种新的token感知级联对比学习（TACO）算法 该算法有两个创新点： token感知的对比损失，是通过考虑单词的句法类别来计算的 采用级联抽样的方法生成少量的hard nega

1. 创新点 现有的视觉基础模型如CLIP(Radford et al.，2021)、Align(Jia et al.，2021)和Wu Dao 2.0(Wud)主要关注于将图像和文本表示映射到跨模式