潦草自用笔记--常用的机器学习方法们简单（！！！）介绍
1. SVM (Support Vector Machine) 支持向量机
目的：确定一个分类超平面，将不同的数据分开
策略：间隔最大化，求解凸二次规划，最优化算法
分类和方法：三种，根据可分程度划分。线性可分支持向量机（linear support vector machine in linearly separable case）--> hard margin， 线性支持向量机（linear support vector machine）--> soft margin, 非线性支持向量机（non-linear support vector machine）--> kernel trick.
优点：
1.凸优化，一定是全局最优解
2.适用于线性和非线性问题
3.高维数据ok
缺点：
1.计算量，不适用于超大数据集
2.只适用于二分类
2. HMM （待扩充）
描述的是一个由不可观测的state序列生成可观测的observation的过程。HMM由initial state probaility, emission(observation) probability和transition probability组成。
两个基本假设：
- 马尔科夫性质，t时刻的state只与t-1时刻的state有关。（其实这个假设还是很强的，二阶HMM就是与前两个时刻的state相关）
- 观测独立性假设，t时刻的observation只依赖于t时刻的state。
三个问题：
- 概率计算问题，给定三概率和observations，求这个observations出现的概率。常用前向-后向算法。
- 学习问题，已知observations，求三概率。常用EM算法，非监督。
- 预测问题，已知三概率和observations，求hidden states。常用Viterbi算法（动态规划）。
