小白收集的干货（持续更新ing）
享用须知：知识点大多都是从别的地方复制过来的，如有侵权，望联系删除，抱歉；另有自己语言描述的地方，错误之处请大佬们提出；仅供参考
模式识别和机器学习的区别
前者喂给机器的是各种特征描述，从而让机器对未知的事物进行判断；后者喂给机器的是某一事物的海量样本，让机器通过样本来自己发现特征，最后去判断某些未知的事物。
深度学习模型的特点和适用范围
| 名称 | 优点 | 缺点 | 适用范围 |
|---|---|---|---|
| 深度信念网络 | 擅长提取数据的特征 | 不太适合有标签的训练样本 | 特征识别 数据分类 捕捉数据相关性 |
| 卷积神经网络 | 擅长处理图像数据 | 需要大量类标记的训练样本 | 文本分类 图像数据提取 |
| 循环神经网络 | 擅长处理与序列数据相关的问题 | 训练困难 | 回归 文本数据处理 |
| 长短时记忆网络 | 在文本分类中有很高的精确率 | 计算复杂 | 文本挖掘 分类 |
| 递归神经网络 | 处理数据时易于实现优化计算、模式识别和联想记忆等功能 | 需要大量的人工标注 | 预测分析 |
端到端的学习（end-to-end learning）
相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。
而深度学习模型在训练过程中，从输入端（输入数据）到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递（反向传播），每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束，这是端到端的。
神经网络
概念
神经网络算法是最早来源于某神经生理学家和某数学家联合发表的一篇论文，他们对人类神经运行规律的提出了一个猜想，并尝试给出一个建模来模拟人类神经元的运行规律。
例子
（仅作例子）IPhone 11 pro，有三摄外观、高质量、高价格三方面的属性。对于购买者而言，会对三种属性一一进行衡量，然后经过思考决定买 or 不买。
上述过程，可以与神经元的工作流程一一对应起来
- 特征向量的输入 => 看到 IPhone 11 pro
- 对特征向量的每一维度进行加权运算（线性操作） => 衡量 IPhone 11 pro 的各个属性，假如顾客 A 看到以后觉得虽然三摄好丑，但是使用体验很好，再看一眼价格，感觉很贵；顾客 B 看到以后觉得三摄的设计还行，使用体验很好，但是价格太贵了。这种对每一个属性都进行衡量的过程就是相当于对特征向量的每一维度进行加权运算
- 使用激活函数对线性操作后的结果进行非线性操作 => 有可能顾客 A 衡量过后，认为虽然三摄丑、价格贵，但是为了这么好的使用体验，还是买了；顾客 B 虽然对三摄和用户体验都满意，但是因为价格太贵而不买了
深度神经网络
概念
常用的 Logistic regression 就可以认为是一个不含隐含层的输出层激活函数用 sigmoid（logistic） 的神经网络（非深度的）。而现在神经网络基本都是深度的，即包含多个隐含层
universality approximation theorem（通用近似定理）
任何连续的函数 𝑓: RN→RM 都可以用只有一个隐含层的神经网络表示。（隐含层神经元足够多）
Why deep？
"Yes, shallow network can represent any function. However, using deep structure is more effective."
"是的，浅（普通）神经网络可以代表某些函数。然而，使用深层结构会更有效"
轻量级深度神经网络
深度神经网络 VS 轻量级深度神经网络
- 深度神经网络通过设计非常深的神经网络结构用于提取表达能力更强的深度特征,这对存储设备和计算资源的要求非常高,常用的便携式设备无法满足该需求
- 移动互联网时代智能手机和其他便携设备的普及给人们之间的日常交流、信息获取、学习和工作等生活的各个方面均带来了极大的便利.伴随着移动互联网的迅速发展,推出了如人脸识别、视频直播、美颜相机、拍照识图,自动驾驶等多种不同类型的移动式应用,丰富了人们的日常生活,其中产生的数据绝大部分为静态图像和动态视频数据。为了提高便携式设备处理图像和视频数据的效率和能力,同时需要满足存储空间和功耗的限制,设计适用于便携式设备的轻量化深度神经网络架构是解决该问题的关键
人工智能、机器学习、符号学习、统计学习、连接学习、深度学习、神经网络算法
关系
机器学习是人工智能的一个分支，即实现人工智能的一个手段。机器学习的主要思想是让机器自己去学习所需要的知识
符号学习、统计学习、连接学习是机器学习的三个分支
深度学习是连接学习的一种体现
可以使用神经网络算法实现机器学习，更深入地，还可以实现深度学习
专家系统
专家系统是一种智能的计算机程序，它运用知识和推理来解决只有专家才能解决的复杂问题
统计学习
基于大量的数据进行统计分析学习
连接学习
（自己下的定义）连接学习指模仿人类的神经元之间连接活动的生理结构进行学习
深度学习
指用深度模型进行学习
样本空间/ 输入空间 / 属性空间
一个所有特征向量的都能在其中找到自己的坐标位置的空间
标记（标签）空间 / 输出空间
所有标记的集合。标记的即是样本中的“结果”信息。例如“（（色泽=青绿；根蒂=蜷缩；敲声=浊响），好瓜）”中，“好瓜”就称为标记
假设、假设（版本）空间
假设
学得模型对应了关于数据的某种潜在的规律，称为假设
假设（版本）空间
有可能存在多个假设与训练集一致，这个假设的集合称为假设（版本）空间
奥卡姆剃刀原则（Occam's razor）
切勿浪费较多东西，去做‘用较少的东西，同样可以做好的事情’
意思是“若有多个假设与观察一致，则选择最简单的那个”
概念描述：假设样本空间
和假设空间
都是离散的，算法
基于训练数据
产生假设
的概率
(
