深度变分多元信息瓶颈 - 变分损失函数框架
摘要
变分降维方法因其准确性、生成能力和鲁棒性而被广泛应用。我们提出了一个统一框架，可泛化传统方法和最先进方法。该框架基于对多元信息瓶颈的解释，在编码器图（定义压缩内容）中保留的信息与解码器图（定义数据的生成模型）中保留的信息之间进行权衡。
通过这种方法，我们重新推导了现有方法，包括深度变分信息瓶颈、变分自编码器和深度多视图信息瓶颈。我们自然地将深度变分CCA（DVCCA）系列扩展为beta-DVCCA，并引入了一种新方法——深度变分对称信息瓶颈（DVSIB）。DVSIB的确定性极限DSIB连接到现代对比学习方法，如Barlow Twins等。
我们在噪声MNIST和噪声CIFAR-100上评估这些方法，结果表明，与问题结构更匹配的算法（如DVSIB和beta-DVCCA）能产生更好的潜在空间，这通过分类准确率、潜在变量维度、样本效率来衡量，并且在可比条件下持续优于其他方法。此外，我们与最先进模型进行基准测试，实现了优越或具有竞争力的准确率。我们的结果表明，该框架可以无缝整合多样化的多视图表示学习算法，为设计新颖的、针对特定问题的损失函数提供了基础。
