凸优化

基本概念：凸集、凸函数、凸优化问题 凸集 definition $x,y\in C \subseteq R^n \rightarrow \forall 0\le t\le 1, tx + (1-t)y

拉格朗日对偶 定义 对于标准形式的优化问题 $$ \min f_0(x) \ f_i(x) \le 0 \ h_i(x) \le 0 $$ 注意不要求$f_0(x)$是凸的。其拉格朗日函数为： $g(

单纯形法 基本思想 对于线性规划问题，满足以下形式 $$ \min c^T x \ s.t. Ax \le b \ x \ge 0 $$ 转化为标准形式，引入松弛变量，转化为 $$ \min c^T

梯度下降 基本概念 这个不赘述了 $$ x^{(k)}\leftarrow x^{(k-1)}+t\nabla f(x) $$ 这里t是步长。 其思想就是在前点利用二阶近似来拟合邻域，然后在邻域里找局

内点法 前面的梯度下降和newton法都是针对无约束的，那么对于有约束的凸优化问题，怎么搞？内点法，对于一般的LP和QP效果都不错 所谓内点，就是指迭代的点在约束的内部的方法。 障碍函数法 考虑凸优化