最近在调研CVPR 2023里面，跟NERF相关的文章，这里先做初步的整理，感觉有价值的工作会再做笔记。
后续若还发现更多相关的文章，也会做持续的列表更新。
Original list：NoPe-NERF，NeRFLix，FreeNERF
Update: DP-NERF，GridNERF，SeaThru-NeRF added.
I. NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior
project page: nope-nerf.active.vision/
paper Info: arxiv.org/abs/2212.07…
code: None
Summary
这篇工作的目标是只用RGB图像，不用camera pose也能达到不错的重建效果。虽然前期也有类似的工作在NERF重建过程中不使用camera pose，但是无法处理复杂的相机轨迹以及复杂场景。而这篇工作则是通过引入一个novel 的 depth loss，在训练过程中同时优化NERF，camera pose以及跟深度相关的参数，这篇文章提出的novel depth loss是学习帧间深度的scale 和 shift参数，等价于在学习过程中维护几何一致的场景，即各个视角观察到的深度大致是近似的。
从论文的首图实验结果来看，这种引入novel depth loss恢复出来的轨迹与ground-truth相比其他方法更接近，清晰程度也更高。
II. NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer
project page: redrock303.github.io/nerflix/
paper Info: arxiv.org/abs/2303.06…
code: None
Summary
这篇文章的目标是恢复场景中的高质量细节。作者认为，即使用高质量(清晰)的图片来训练NERF，由于存在不完美标定(camera pose不准确)等问题，NERF也会存在artifacts (伪影，如floaters，模糊)等问题。因此，作者提出了一个模拟NERF退化的模块，利用帧间混合的信息来修复物体的细节。这是一个即插即用的模块，可以用到各种算法之间。
文章做了大量的实验，提出的这个模块可以加到现有的任意NERF算法里面，包括TensoRF，RegNeRF，Plenoxels等方法，且都能明显提升图像细节的清晰程度。
III. FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization
project page: jiawei-yang.github.io/FreeNeRF/
paper Info: arxiv.org/abs/2303.07…
code: github.com/Jiawei-Yang…
Summary
这篇文章光看首图就很有吸引力了，左边的实验效果到右边的实验效果只需要添加一行代码就能达到。
这篇文章的focus是在few-shot的NERF learning上，引入了frequency regularization以及occlusion regularization，在positional encoding的部分做了改动。
不得不说，这么简单粗暴且效果明显的insight很容易就让人有读下去的冲动。后面读完再来整理笔记。
IV. DP-NeRF: Deblurred Neural Radiance Field with Physical Scene Priors
project page: dogyoonlee.github.io/dpnerf/
paper Info: arxiv.org/abs/2211.12…
code: github.com/dogyoonlee/…
Summary
这篇文章的目标是在输入图像是模糊图像的基础上，也能建出不错的辐射场。同样是针对模糊输入，相比CVPR22的文章Deblur-NERF，DP-NERF则是更关注3D空间中的geometry以及appearance的一致性，通过rigid blurry kernel module的设计，把真实采集过程中会出现的camera motion blur(运动模糊)以及defocus blur(失焦)都考虑在网络的设计当中，从而解决模糊输入所引起的问题。
V. Grid-guided Neural Radiance Fields for Large Urban Scenes
project page: city-super.github.io/gridnerf/
paper Info: arxiv.org/abs/2303.14…
code: None
Summary
这是一篇处理urban-level的large-scale NERF的文章。文章提出了一种two-branch的model，相比原始的NERF based model以及Feature Grid based的model在效果上有明显的提高。框架如下图所示，分为pretraining Grid branch stage以及Joint Learning Grid-and NERF branches stage。从图里可以初步看到，pretrain stage相当于得到一个粗糙的density以及color，并存到一个multi-resolution feature planes中，在joint learning stage则是结合grid branch loss以及nerf branch loss共同优化，且采样的点更靠近物体表面，进而达到不错的效果。
note: multi-resolution feature planes看起来是一个新的representation形式，不确定是不是跟instant-ngp同一类型的multi-resolution hash encoding的形式。
VI. SeaThru-NeRF: Neural Radiance Fields in Scattering Media
project page: None
paper Info: None
code: None
Summary
这是一篇没找到paper链接，但是在搜索过程中看到效果视频的文章。看起来是处理水下，有散射介质的场景重建的文章。猜测应该会把折射率相关的物理属性也加入到网络的训练当中。具体细节要等paper放出来才能看到了。
本文首发于知乎
