先验指导GAN语义图像修复 【简记】

墨理学AI
598 阅读3分钟

一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第18天，点击查看活动详情。

  • 🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

    • 1-0

    Prior Guided GAN Based Semantic Inpainting

    Abstract

      当代基于深度学习的语义修复可以从两个方向进行。 首先，也是经过更深入探索的方法是，通过对抗性训练进行额外的细化，从而在蒙版像素上训练离线深度回归网络。 这种方法需要进行一次前馈传递，以进行推断修复。另一种很有前途但尚未探索的方法是首先训练一个生成模型，将潜在的先验分布映射到各种自然图像，然后在推理过程中搜索“最佳匹配”以重建信号。

      对后一种类型的主要限制是由于其推理时间迭代优化和难以扩展到更高的分辨率。 在本文中，与大趋势相反，我们将重点放在修复的第二种范式上，并解决其提到的两个问题。 最重要的是，我们学习了数据驱动的参数网络，可以直接预测给定 mask 图像的匹配先验。 这将迭代范式转换为具有约800倍加速比的单个前馈推理管道。 我们还使用结构先验（根据蒙版图像本身计算）来规范化我们的网络，这有助于更好地保留待修复对象的姿势和大小。 此外，为了扩展我们的序列重建模型，我们提出了一种基于递归网络的分组潜伏先验学习。

    0

    模型网络主体结构：

    1

    2

    7. Discussion and Conclusion

      在本文中，我们重新审视了用于迭代的迭代推理框架，目的是加快推理时间。 为此，我们显示了数据驱动的噪声先验学习的重要性，与基线[45]相比，它可以使速度提高约800倍，同时又可以改善重建效果。 我们还扩展了视频修复模型，并引入了结构先验和LSTM驱动的分组先验学习概念，以显着改善时间动态。 我们还展示了与最新基准相比在图像修复和视频重建方面的最新性能。本文提出了一个新的维度（视角），将修复理解为寻找“最佳匹配”的潜在先验，而不是当前由编解码器驱动的“图像精化”方法。

      我们承认目前我们的模型不适用于自然视频或室外场景的修复。 这通常不是我们框架的缺点，而是当前GAN框架无法合成自然场景的体现。 但是，随着PGGAN和BigGAN的发布，社区对于使用GAN生成复杂场景非常乐观。 因此，我们的框架经过高度模块化，可以接受任何新的GAN模型并从其生成能力中受益。 我们将其留作未来的探索工作。

    图像修复专栏相关博文

    9-5

    博主简介：软件工程硕士、已毕业、马上 10w 读者 粉丝

    • 🍊 计算机视觉：超分重建、图像修复、目标检测、风格迁移 等领域 稍有所学
    • 🍊 AI 工程化：Ncnn、MNN、TensorRT 正在 学习
    • 🍊 C++、Python、Java 略懂一二
    • 🍊 👋 Follow me 👋，一起 Get 更多有趣 AI、实战博文教程、冲冲冲 🚀 🚀

    喜欢请关注 墨理学AI 及其 同名 公众号 墨理学AI

    取经路上，让墨理学AI 陪你畅享更多有趣AI

    avatar
    文章
    阅读
    粉丝