SRC

Exploring Patch-wise Semantic Relation for Contrastive Learning in Image-to-Image Translation Tasks cvpr 2022

【腾讯文档】实验进度 docs.qq.com/doc/DU2VBcX…

为什么读这篇论文

• 本文借鉴基于关系的知识蒸馏，关注语义的相似性

Contribution

• 提出了一种新的语义关系一致性（SRC）约束，关注单个图像patch之间的异构语义，根据分布相似性捕获patch-wise的语义关系，并在图像翻译任务中强制保留它
• 提出了基于图像块之间空间变化的语义关系的hard 负样本挖掘策略。通过避免采样具有不相关语义信息的“简单”负样本来进一步提高性能，但更侧重于挖掘“硬”负样本

Method

• Consistency of semantic relation distribution

  • 不同位置的图像块具有不同的语义关系，应考虑并保留不同的语义关系，以实现准确的图像翻译任务。
  • 分布相似性计算
    • $P_k(i) = \dfrac{exp (z_k^T z_i)}{∑^K _{j=1} exp (z_k^T z_j )}$
  • 利用KL散度衡量源域和生成图的语义相似性
    • $L_{SRC} =∑^K_{k=1}JSD(P_k||Q_k)$

• Hard negative mining by semantic relation

  • 使用语义关系进行硬负挖掘。我们设计了硬负挖掘的分布，并推导出与相似关系的联系
  • hard negative contrastive loss
    • 正样本对（z，w）共有N个负样本
    • 
    • 利用 MisesFisher distribution 进行负样本采样

* 避免没有显著贡献对比机制的“简单”负样本。通过利用 positive and 'hard' negatives 来构造更好的负样本对实现对比学习

Experiment