MVS

数据集 相较于MVSNet增加了Depths_raw文件夹 scans/: 保存了原始分辨率的深度图GT和mask(1200, 1600) 代码里用的是这个 scanx_train/: 低分辨率的深度

环境搭建 首先在DTU官网下载定量测试的数据集（这部分之前师兄下过就没重新下） 最终的数据结构应该是 然后下载官方matlab测试代码，我用的是MVSNet_PyTorch里evaluation中的m

环境配置 需要下载作者提供的数据集，跟MVSNet的数据集不是很一样，但都不大2G+1G 整体环境推荐不要复用MVSNet，主要是PyTorch版本比较新，再依照requirements安装下没安过的

环境配置 总体环境可以复用MVSNet的conda环境，激活MVSNet的conda环境后做如下修改 在install_dependencies.sh中选择当前没安装过的手动安装，不建议直接执行she

环境配置 因为该仓库使用的是pytorch_lightning框架，因此当然不可以复用之前的conda环境啦，作者readme里已经说的很详细了 直接安装requirements.txt会报错pyto

环境配置 安装Anaconda 创建conda环境 conda create -n MVSNet python=3.6，并激活conda activate MVSNet 首先在conda中安装Pyor

进行编译即可，会自动导出后续fusibile被调用时的路径 一些坑记录在下面： 【运行转化点云时报错：Error: no kernel image is available for execution

开始之前推荐先把论文读明白：【深度学习MVS系列论文】CVP-MVSNet: Cost Volume Pyramid Based Depth Inference for Multi-View Ster

总体结构 对于训练核心的代码有如下几个： train.py: 整体深度学习框架(参数处理、dataset和DataLoader构建、epoch batch训练、计算loss梯度下降、读取/保存模型等)

由非常著名的Max-Planck-Gesellschaft(德国马克思-普朗克研究所)联合苏黎世理工和微软共同提出 马尔可夫基础理论 马尔可夫性质：随机过程未来的状态仅依赖于当前状态，即给定现在状态时

Abstract learnable cascade formulation of Patchmatch 首次提出iterative multi-scale Patchmatch和adaptive p

Abstract 之前的问题：构建3D代价体，随着分辨率的增加cubic增长 memory and time efficient cost volume formulation complementa

Abstract attention-enhanced matching confidence volume → robust photo-consistency 将提取出特征的pixel-wise

Abstract build cost volume pyramid in a coarse-to-fine manner 而不是固定分辨率的代价体，使得网络更轻量化，可以迭代生成高质量的深度图 首先

Abstract volume在深度和空间方向应该都是各向异性的，但之前都是各向同性的处理问题 本文基于各向同性和各向异性的3D卷积构建网络 两大核心模块： patch-wise aggregatio

摘要 cost volume → directly process point clouds predict the depth in a coarse-to-fine manner 首先生成粗糙的深

核心思路 之前的缺陷：scalability, hard for high-resolution scenes contribution: scalable MVS framework 内存消耗减少，

核心思路 extract deep visual image features build 3D cost column upon the reference camera frustum via t

利用一个搭载可调节亮度灯的工业机器臂对一个物体进行多视角的拍摄，每个物体所拍的视角都经过严格控制，所以可以获取每个视角的相机内、外参数。 数据集组成：124个不同的物体或场景，每个物体共拍摄49个视角，每个视角共有7种不同的亮度。每个物体或场景文件夹内部共有343个图片。每张影…

1. 准备工作 2. 特征提取 3. 特征匹配 4. 增量式建模 1. 图像去畸变 2. 深度估计 2. 特征点匹配