ALADIN: All Layer Adaptive Instance Normalization for Fine-grained Style Similar

306 阅读1分钟

2021 ECCV

Abstract

作者提出了一种新的基于风格相似性的图像搜索框架ALADIN,并在基于风格的视觉搜索任务上达到SOTA。其次,作者还贡献了一个新的数据集。

Introduction

该框架的优势在于通过弱监督学习艺术风格相似性,不用大量标记。 贡献点主要有三:

  1. 采用 encoderdecoderencoder-decoder 结构加 AdaINAdaIN,可以同时鉴别粗粒度(eg.eg.素描和水彩)和细粒度(eg.eg.不同艺术家的素描)的艺术风格。
  2. 提出新的数据集
  3. 细粒度风格的弱监督学习方法 作者使用有监督的对比学习训练网络。有做数据清洗。

Related Work

Learning Fine-Grained Style Similarity

image.png 整个网络由编码器和解码器构成,但不是传统的E-D结构。首先特征编码分为了两路,并且style编码利用了多阶段的特征图。最后的MLP是用Style Embedding结合对比学习的策略完成弱监督任务。

My

感觉基于风格的视觉搜索任务就是用网络提取的风格特征做聚类,找出和提供图片的同类;粗粒度和细粒度的区别在于细粒度对各类间距有更严苛的要求。