持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第6天，点击查看活动详情
本文是A Comparative Study of Graph Matching Algorithms in Computer Vision的学习笔记。
本文收获
本文列出了一系列图匹配算法，想提出一套基准 benchmark 来验证这些算法的好坏。
作者收集了一系列数据集并且提出了评判标准由此形成了一个 benchmark，随后在这基础上进行了实验观察算法的执行效果。
图匹配问题的定义
图匹配与图像
图匹配（Graph Matching）是指在两个或多个图（graph）结构之间，建立节点与节点的对应关系。
注意，这里的图（graph）不是我们所谓的图像（image），而是一种具有节点和边关系的拓扑结构。
Affinity 矩阵
矩阵中每个元素对应坐标是(A_xB_y,A_mB_n)的形式，A_x表示图 A 中第 x 个点，其它同理。若图 A 有 5 个点，图 B 有 4 个点，则它们的 Affinity 矩阵是大小为5 * 4 的方阵。
矩阵中每个元素的值代表点与点或边与边之间的相似度。
对角线元素(A_xB_y,A_xB_y)代表两张图中一对点的相似度。如(A_1B_a,A_1B_a)代表点 1 与点 a 的相似度。
其它元素代表两张图中各自由两个顶点组成的边的相似度。如(A_1B_a,A_2B_b)代表边 12 与边 ab 的相似度。
数学定义
给定两组点以及边与边之间的 cost（非相似度），优化 x 最小化下面的式子。（x 指分配问题的解，反映了点与点之间的匹配关系）
上面的不等式表示这是一个不完全分配问题，即有的点未被匹配。
运筹学
由于运筹学在（几乎）没有增加任何资源的情况下，只是通过改变资源的使用方式，就能取得更好的实际效果，因此上运筹学被看作是一种管理技术。而各行各业都涉及到“有资源，如何用”的问题，于是，运筹学被广为应用。
分配问题与匈牙利算法
分配问题：n*n矩阵中，选取n个元素，每行每列各有一个元素，使得和最小。
匈牙利算法是分配问题的经典解法。
背景知识
Linearization
当边与边之间的 cost 均为零时，即 Affinity 矩阵只有主对角线元素非零，问题退化成了线性分配问题。
Birkhoff polytope and permutation matrices
置换矩阵（permutation matrices）x\in{{0,1}}^{V×L}
Birkhoff polytope（doubly-stochastic matrices ）x\in{[0,1]}^{V×L}
图匹配算法
- IQP：二次整数规划
- ILP：整数线性规划
- bijective：双射，即两组点既是满射又是单射，一一对应。（两组点的个数应相同）
Primal heuristics
Linearization based
Iterated projected fixed point (ipfp)
Marius Leordeanu, Martial Hebert, and Rahul Suk-thankar. An integer projected fixed point method for graph matching and MAP inference. In Advances in Neural Information Processing Systems,2009.
双随机阵松弛
不断采用匈牙利解法在整数域中求原问题的一阶近似解
Graduated assignment (ga)
Steven Gold and Anand Rangarajan. A graduated assignment algorithm for graph matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996.
双随机阵松弛
提出了经典的逐步指定迭代算法求解原问题的泰勒展开一阶近似
Fast approximate quadratic programming (fw)
Joshua T. Vogelstein, John M. Conroy , Vince Lyzinski, Louis J. Podrazik, Steven G. Kratzer, Eric T.Harley , Donniell E. Fishkind, R. Jacob Vogelstein, and Carey E. Priebe. Fast Approximate Quadratic Programming for Graph Matching. PLOS ONE,2015.
提出了快速近似二次分配问题算法，能够在O^3时间内找到局部最优解
Norm constraints based
Spectral matching (sm)
M. Leordeanu and M. Hebert. A spectral technique for correspondence problems using pairwise constraints. In Proceedings of the IEEE International Conference on Computer Vision, 2005.
谱松弛
为了能够用于一般的 Lawler 型，提出将 X 松弛成单位向量。经过变化后，可以通过计算相似度矩阵 K 的最大特征值来估计 X
Spectral matching with affine constraints (smac)
Timothee Cour, Praveen Srinivasan, and Jianbo Shi. Balanced graph matching. In Advances in Neural Information Processing Systems, 2007
谱松弛
进一步加入了仿射约束，更好地逼近原问题
Max-pooling matching (mpm)
Minsu Cho, Jian Sun, Olivier Duchenne, and Jean Ponce. Finding Matches in a Haystack: A Max Pooling Strategy for Graph Matching in the Pres- ence of Outliers. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2014.
使用 Max-pooling 代替 sm 的 sum-pooling
Local sparse model (lsm)
Bo Jiang, Jin Tang, Chris Ding, and Bin Luo. A local sparse model for matching problem. In Proceedings of the AAAI Conference on Artificial Intelligence, 2015.
它生成一个局部稀疏解，该解比匹配问题的大多数其他连续松弛方法更接近离散矩阵。
Probabilistic interpretation based
Reweighted Random Walks Matching (rrwm)
Minsu Cho, Jungmin Lee, and Kyoung Mu Lee. Reweighted random walks for graph matching. In Proceedings of the European Conference on Computer Vision, 2010.
双随机阵松弛
从随机游走的角度来审视图匹配问题
Probabilistic matching (pm)
Ron Zass and Amnon Shashua. Probabilistic graph and hypergraph matching. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2008.
使用相对熵目标代替二次目标
Path following based
Factorized graph matching(fgmd)
Feng Zhou and Fernando De la Torre. Factorized Graph Matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016.
基于凸松弛 - 凹松弛的渐变松弛
提出了一种相似度矩阵分解技术，基于该分解形式，可以进一步将图匹配问题进行由凸松弛向凹松弛的转换。这-过程称为凸-凹松弛的路径跟踪(convex-concave path following)。迭代算法的开始阶段，目标函数是凸优化的形式，对初始解不敏感;在迭代后期，目标函数转变成凹优化的形式，具有收敛到全局最优解的 性质。又由于可行解约束是双随机矩阵，故凹优化一定会收敛到可行域的顶点，即离散的排列矩阵的形式。避免了对连续解做离散化的步骤。
Randomized generation and fusion based
Fusion moves with a greedy heuristic (fm)
Lisa Hutschenreiter, Stefan Haller, Lorenz Feineis,Carsten Rother, Dagmar Kainmüller, and Bogdan Savchynskyy. Fusion moves for graph matching. In Proceedings of the IEEE International Conference on Computer Vision, 2021.
结合了 fusion moves 和 dual methods
Lagrange duality-based techniques
Block-coordinate methods (hbp, mp-*, fm-bca)
Subgradient method (dd-ls*)
