明天要考试了，遂将ppt的问题整理归纳如下：
- 机器学习是什么？
- 机器学习的三大步骤？
- 经验误差越小越好吗？
- 模型选择的三个问题？
- 评估方法的关键？
- 用留出法要注意什么？
- 自助法的包外估计
- 性能度量？
- 分类结果混淆矩阵？
- P？
- R？
- PR图？
- BEP？
- F1？
- Fβ？
- 在某种度量下获得评估结果后，是否可以直接比较以评判优劣？
- 神经网络？
- 激活函数？
- BP？
- 多层网络？
- 前馈网络？
- 功能单元？
- 感知机？
- 标准BP算法？
- 累积BP算法？
- 缓解过拟合？
- 跳出“局部最优”策略？
- CNN？
- 特征映射？
- 采样层？
- 连接层？
- 为什么难以用经典BP算法训练？
- 提升模型复杂度的好处和坏处？
- 一些tricks？
- 深度学习最重要的特征？
- 现代流行的流式模型架构？
- RNN？
- LSTM？
- 3个控制开关？门？
- Transformer？
回答：
- 机器学习是在特定场景、特定任务下寻找一个最优函数这样一个过程
- 第一：定义一组函数；第二，将模型与数据拟合；第三，寻找最优函数
- 不是这样的，因为会导致“过拟合”，即泛化误差大，经验误差小
- 第一，如何获得测试结果；第二，如何评估性能优劣；第三，如何判断实质差异
- 如何获得测试集，注意测试集与训练集互斥
- 第一，保持数据分布一致性（采用分层采样）；第二，多次重复进行数据划分（100次随机划分）；第三，测试集不能太大，也不能太小（至）
- 在数据集中将除训练集外的数据当做测试数据的方法，
- 反映任务需求，
- 图
- 图
- 平衡点
- 不能。第一，很多机器学习的算法具有一定随机性；第二，测试性能不等于泛化性能；第三，测试误差在测试集上随时间变化而变化
- 神经网络是具有适应性的神经单元的广泛并行互联的网络，模拟了生物神经系统与外界环境的真实交互反应
- 理想的激活函数是阶跃函数，但阶跃函数具有不光滑、不连续等不好的性质，所以选择Sigmoid函数
- 误差逆传播算法，链式法则
- 具有隐层的神经网络
- 同一层的神经单元没有层内连接或跨层连接，即无环或闭路
- 隐层和输出层的神经单元
- 无隐层的神经网络
- 每次计算更新一个样例，更新频繁，不同样例可能抵消，需要多次迭代
- 最小化全局神经网络的误差，更新缓慢，在大的训练集上表现不好，会出现进一步下降时停滞的现象
- 第一，早停。包括多次训练轮数的训练误差下降小于b；经验误差下降，验证误差上升；第二，正则化，在误差目标函数上增加反映神经网络结构
- 第一，用不同的初始参数；第二，模拟退火；第三，随机扰动；第四，遗传算法
- 卷积神经网络
- 多个神经元表示的一张“图”，用卷积滤波器表示输入的一个特征
- 用局部相关性原理，降低数据量同时保证数据有用性
- 隐层和输出层之间的层
- 误差梯度在隐层传播时不能收敛到一个稳定的值
- 好处：增强学习能力；坏处：提升训练难度；提升过拟合的风险
- 不知道
- 表示学习和优化
- DATA NETWORK LOSS
- 表示学习
- 解决长期依赖性的特殊RNN
- 遗忘门；输入门；输出门
- 基本单元：Encoder和Decoder；核心组件：多头自注意力机制；前馈神经网络。KQV
