相关概念
- 学习（训练）：从数据中学得模型的过程
- 训练数据：训练过程中使用的数据
- 训练样本：训练数据中每一个样本
- 训练集：训练样本组成的集合
- 假设：学得模型对应关于数据的某种潜在规律
- 真相（真实）：潜在规律自身
- 测试：使用学习后的模型进行预测的过程
- 测试样本：被预测的样本
- 泛化能力：学得模型适用于新样本的能力
- 归纳与演绎是科学推理的两大基本手段
- 归纳：从特殊到一般的“泛化”过程，从具体的事实归结出一般性规律
- 演绎：从一般到特殊的“特化”过程，从基础原理推演出具体情况
- 广义的归纳学习：从样例中学习
- 狭义的归纳学习（概念学习、概念形成）：从训练数据中学得概念
- 版本空间：一个与训练集一致的“假设集合”
- 归纳偏好（偏好）：机器学习在学习过程中对某种类型假设的偏好
- 奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个
- NFL定理：所有“问题”出现的机会相同或所有问题同等重要，则它们的期望性相同，无关学习算法
发展历程
推理期
“逻辑理论家”程序，“通用问题求解”程序
知识期
大量专家系统问世
蓬勃期
第一届机器学习研讨会，相关期刊和书本的出版，机器学习成为一个独立的学科领域，各种机器学习技术百花初绽
分类
分类一
- 从样例中学习
- 在问题求解和规划中学习
- 通过观察和发现学习
- 从指令中学习
分类二
- 机械学习
- 示教学习
- 类比学习
- 归纳学习
从样例中学习
- 符号主义学习（决策树和基于逻辑的学习）
- 基于神经网络的连接主义学习（BP）
- 统计学习（SVM和核方法）
- 深度学习（多层神经网络）
