slam 系列—三维重建和极几何持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第5天，点击查看活

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第5天，点击查看活动详情

对极几何和三维重建基础

在没有一些先验知识前提下，很难用一张图像来恢复 3 维世界的整个结构，这是由于在从 3维到 2维投影过程中丢失了一些信息。

三角化

P = x_l \times x_r

两条直线叉乘得到点就是两条射线的交点，如何理解这件事呢? 我们知道两个向量叉乘得到一个向量是垂直于 $x_l$ 和 $x_r$ 所在平面的，所以 $x_l^TP = 0$ 而且 $x_r^TP = 0$ 也就是 P 点即在 $x_r$ 这条直线上，又在 $x_l$ 这条直线上。所以 $P$ 是两条射线的角点。

需要在同一个坐标系下，两条直线叉乘才有意义。这个过程叫做三角化。

在实际情况由于噪声存在，两条直线很难相交。

线性解法
非线性解法

线性解法

\begin{cases} p_l =M_lP = K_l\begin{bmatrix} I & 0 \end{bmatrix} P\\ p_r = M_rP = K_r \begin{bmatrix} R & T \end{bmatrix}P \end{cases}

u_l = \frac{m_{l,1}P}{m_{l,3}P}\\ v_l = \frac{m_{l,2}P}{m_{l,3}P}\\ u_r = \frac{m_{r,1}P}{m_{r,3}P}\\ v_r = \frac{m_{r,2}P}{m_{r,3}P}

AP = 0

m_{l,1}P - u_l (m_{l,3}P) = 0\\ m_{l,2}P - v_l (m_{l,3}P) = 0\\ m_{r,1}P - u_r (m_{r,3}P) = 0\\ m_{r,2}P - v_r (m_{r,3}P) = 0\\

最小二乘解

对于 A 矩阵进行奇异值分解, $A = UDV^T$ 拿到 V 矩阵的最后一列作为 P

非线性解

定义一个能量函数 $d(p_l,M_lP) + d(p_r,M_rP)$

不过以上都是理想情况，通常许多参数我们是不知道的

例如我们知道 $p_l$ 和 $p_r$ 在像平面的坐标，并且已知摄像机的内参 $K_l$ 和 $K_r$ 去求解摄像机间的变换矩阵 $R,T$ 以及三维点 P 的坐标
或者只知道 $p_r$ 和 $p_l$ 在像平面的坐标

多视图几何

估计摄像机的内、外参数，也就是摄像机标定
研究同一场景下 P 点在一个图像中点 $p_l$ 与另个一图像中 $p_r$ 的对应关系

对极几何

对极几何
本质矩阵
基础矩阵

对极几何

描述在两个视点像平面中对应点 $p_l$ 和 $p_r$ 之间的关系，两个视点图像间的几何关系。

接下来介绍几个概念

极平面
基线
极线
极点

一些性质

极平面相交于基线
因为极平面在右侧平面上投影为极线 $e_r,u_r$ 的连线，所以 $u_l$ 在极平面上，所以一定落在 $u_r$ 和 $e_r$ 这条极线上，这是对于成像点的一个约束，全图搜索问题在极线上进行搜索

平行视图

两个图像平面平行
基线平行于图像平面，极点 $e_l$ 和 $e_r$ 位于无穷远处
极线平行于图像坐标系的 $u$ 轴

解决问题一般思路

P 为场景中一个 3 维点
$O_l$ 和 $O_r$ 为两个观测场景的视点(摄像机位置)
$\hat{u}_l$ 和 $\hat{v}_l$ 和 $\hat{u}_r$ 和 $\hat{v}_r$ 构成两个视平面
$u_l$ 和 $u_r$ 是 $P$ 在两个不同视点的像平面上位置
$t,R$ 为两个摄像机中心相对位置的变换矩阵

极点

这里 $e_l$ 和 $e_r$ 分别为 $O_l$ 和 $O_r$ 在右侧像平面和左侧像平面上的点。

极平面

也就是右两个摄像机中心点 $O_l$ 和 $O_r$ 和场景点 $P$ 围成的平面为极平面。

本质矩阵

本质矩阵对规范化规范化摄像机拍摄的两个视点图像间的极几何关系进行代数描述。

K = \begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1\\ \end{bmatrix}

p^{\prime} = \begin{bmatrix} x\\ y \\ z \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 1 & 0\\ \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix}

规范化摄像机好处就是在像素平面内的 $p^{\prime}$ 的齐次坐标就可以看做 p 点在 3维坐标系下坐标，也就是 $(u,v,1)$

那么 $p_r$ 在 $O_r$ 坐标系下，也就是 $(u_r,v_r,l)$

p_r = Rp_r^{\prime} + T\\ p_r^{\prime} = R^T(p_r - T)

那么从而了解到 $p_r$ 在 $O_l$ 下坐标为 $R^Tp_r - R^TT$

$p_r$ 在 $O_l$ 坐标系为 $R^Tp_r - R^TT$
$O_r$ 在 $O_l$ 坐标系坐标 $-R^TT$

$O_rO_l$ 和 $p_rO_1$ 这两个向量叉乘得到一个垂直于极平面的向量

-R^TT \times (R^Tp_r - R^TT)\\ R^TT \times R^Tp_r - R^TT \times R^TT\\

R^T[T \times]R^Tp_r

首先我们来这个负号为什么没有了? 这是因为如果 $O_rO_l$ 和 $O_lO_r$ 效果一样，这里负号只代表方向，而且向量和自己进行叉乘得到向量是一个 0 向量

\begin{bmatrix} 0 & -a_z & a_y\\ a_z & 0 & -a_x\\ -a_y & a_x & 0\\ \end{bmatrix}

from numpy.linalg import matrix_rank
import numpy as np

ax = 1
ay = 3
az = 2

a = np.array([
    [0,-az,ay],
    [az,0,-ax],
    [-ay,ax,0]
])

print(matrix_rank(a))

将向量 $T$ 经过一个旋转 $R^T$ 然后再去和一个向量 $p_r$ 经过一个旋转变换 $R^T$

\left[R^T(T \times p_r)\right]^Tp\\ (T \times p_r)^TRp\\ p_r^T[T_{\times}]^TRp\\

-p_r^T[T_{\times}]Rp = 0\\ p_r^T[T_{\times}]Rp = 0\\

E = [T_{\times}]R = T \times R

$p_l$ 对应的极线是 $x_r(x_r = Ep_l)$ 这是因为 $p_r^T E p_l = 0$ 那么也就是 $p_r^T x_r = 0$ 所以 $x_r = Ep_l$
$p_r$ 对应的极线 $x_l = E^Tp_r$
$Ee_l = 0$ 和 $e_r^T E = 0$

x_r^Tp_r = 0\\ (Ep_l)^Tp_r = 0\\ (Ep_l)^Te_r = 0\\ p_l^TE^Te_r = 0

E 是奇异的(秩为 2 ) 5 个自由度（3旋转，3平移 - 1 一个自由度)

基础矩阵

8 点法(8-point algorithm)

已知条件是给定一个匹配点 $\{x_i,x_i^{\prime}\}$ 问题是要估计基础矩阵(Fundamental Matrix) $\bold{F}$

假设这里有 M 对个点，两两匹配

\{ x_m,x_m^{\prime} \} \; m \in \{1,\dots,M\}

{x_m^{\prime}}^T\bold{F}x_m=0

p_r = R(p_l - T)

我们来假设将世界坐标系设置在第 1 个摄像机的坐标系上，那么对于第二个摄像机坐标系原点 $O_r$ 就是先经过一个旋转 R 然后再经过一个平移来到

S = \begin{bmatrix} \end{bmatrix}

数据归一化

将选取点进行归一化处理，也就是将这些点平移到远点，然后在进行一定缩放来保证这些点在一定范围内

这些点的中心位于原点
各个点到原点的均方根距离等于 $\sqrt{2}$