这是自然语言处理和机器学习笔记系列的第三篇。跟前两篇类似，都是简单的罗列，期望作为进一步深入学习的线索。
1，定义
研究怎样使用计算机模拟或实现人类的学习行为，是人工智能的重要课题
2，学习任务
（1）聚类分析
事先是没有类别的，将语料分成若干类别，是一种无监督学习
（2）分类分析
事先要确定好类别，把语料分到对应的类别里，是一种监督学习
（3）回归分析
是一种对数值型连续随机变量进行预测和建模的监督学习算法
3，模型算法
（1）支持向量机 SVM
可用于文本分类，适合高维特征，非线性可分
（2）回归算法 Regression Algorithms
可观察多个自变量与因变量的变化关系；可用于预测、分类
a. 线性回归 Liner Regression
b. 逻辑回归 Logistics Regression
c. 普通最小二乘回归 Ordinary Least Squares Regression/OLSR
d. 逐步回归 Stepwise Regression
e. 多元自适应回归样条 Multivariate Adaptive Regression Splines/MARS
f. 本地散点平滑估计 Locally Estimated Scatterplot Smoothing/LOESS
（3）正则化算法 Regularization Algorithms
通过惩罚机制，使模型在过拟合和欠拟合之间达到平衡，但很难校准这个平衡点
a. 岭回归 Ridge Regression
b. 最小绝对收缩与选择算子 LASSO
c. GLASSO
d. 弹性网络 Elastic Net
e. 最小角回归 Least-Angle Regression
（4）集成算法 Ensemble Algorithms
由多个较弱的模型集成模型组，做出总体预测，具有较高精度，但维护工作量较大
a. 提升算法 Boosting
b. 自适应提升算法 Adaptive Boosting/AdaBoost
c. 层叠泛化 Stacked Generalization
d. 梯度推进机 Gradient Boosting Machines/GBM
e. 梯度提升回归树 Gradient Boosted Regression Trees/GBRT
f. 随机森林 Random Forest
（5）决策树算法 Decision Tree Algorithm
可用于预测、分类
a. 分类和回归树 Classification and Regression Tree/CART
b. Iterative Dichotomiser 3/ID3
c. C4.5 和 C5.0
（6）降维算法 Dimensionality Reduction Algorithms
用于降低数据的描述维度
a. 主成分分析 Principal Component Analysis/PCA
b. 主成分回归 Principal Component Regression/PCR
c. 偏最小二乘回归 Partial Least Squares Regression/PLSR
d. Sammon 映射
e. 多维尺度变换 Multidimensional Scaling/MDS
f. 投影寻踪 Projection Pursuit
g. 线性判别分析 Linear Discriminant Analysis/LDA
h. 混合判别分析 Mixture Discriminant Analysis/MDA
i. 二次判别分析 Quadratic Discriminant Analysis/QDA
j. 灵活判别分析 Flexible Discriminant Analysis/FDA
（7）聚类算法 Clustering Algorithms
对数据进行分类，把相似的样本分到一组
a. K-均值 k-Means
b. k-Medians 算法
c. 最大期望算法Expectation Maximi/EM
d. 分层集群 Hierarchical Clstering
（8）基于实例的算法 Instance-based Algorithms
a. 最近邻算法 k-Nearest Neighbor/KNN：可用于文本分类、模式识别、聚类分析，多分类领域、回归分析
b. 学习向量量化 Learning Vector Quantization/LVQ
c. 自组织映射 Self-Organizing Map/SOM
d. 局部加权学习 Locally Weighted Learning/LWL
（9）贝叶斯算法 Bayesian Algorithms
使用贝叶斯定理来解决分类、回归等问题
a. 朴素贝叶斯 Naive Bayes/NB
b. 高斯朴素贝叶斯 Gaussian Naive Bayes
c. 多项式朴素贝叶斯 Multinomial Naive Bayes
d. 平均一致依赖估计器 Averaged One-Dependence Estimators/AODE
e. 贝叶斯信念网络 Bayesian Belief Network/BBN
f. 贝叶斯网络 Bayesion Network
（10）关联规则学习算法 Association Rule Learning Algorithms
a. Apriori 算法
b. Eclat 算法
c. FP-growth
（11）图模型 Graphical Models
是一种概率模型，可表示随机变量之间的条件依赖结构
a. 贝叶斯网络 Bayesian network（有向图）
b. 马尔可夫随机场/马尔可夫网络 Markov random field/Markov network（无向图）
c. 链图 Chain Graphs
d. 祖先图 Ancestral graph
（12）深度学习 Deep Learning
a. 神经网络 Neural Network
b. 卷积神经网络 CNN：擅长处理图像数据
c. 循环神经网络 RNN：有效处理具有时序的数据，对短期数据表现很好，长期数据遗忘
d. 长短期记忆 LSTM：处理时序数据，对长短期数据都有较好的记忆效果
e. 门控循环单元 GRU：与LSTM功能类似，但更易于计算
f. 深玻耳兹曼机 Deep Boltzmann Machine/DBM
g. Deep Belief Networks/DBN
