深度学习

本文简要概括模型部署的知识点，包括步骤和部署方式。模型部署 模型部署是指将训练好的机器学习或深度学习模型集成到生产环境中，使其能够在实际应用中处理实时数据和提供预测服务。

本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。模型压缩和优化技术是为了在保证模型性能（精度、推理速度等）的前提下，减少模型的体积。

本文详细介绍深度学习模型训练中常用的工具及其特点，包括DeepSpeed和Accelerate。DeepSpeed 是由微软开源的一个深度学习大规模分布式训练，特别适合大规模预训练模型的高效训练。

本文详细介绍早期生成式AI的代表性模型：生成对抗网络GAN，由 Ian Goodfellow 等人于 2014 年提出。

本笔记介绍深度学习中两个重要的模型：AE、VAE。自编码器（Autoencoder, AE） 论文： 无标志性论文，最初可以追溯到20世纪80年代和90年代初的神经网络研究。

本文详细介绍了三种最火热的基于Transformer架构的NLP模型架构：GPT、BERT 和 T5。

介绍3种常见的Transformer位置编码——正弦/余弦位置编码（sin/cos）、基于频率的二维位置编码（2D Frequency Embeddings）、旋转式位置编码（RoPE）

本文详细介绍面试过程中可能遇到的Transformer。Transformer 是一种革命性的神经网络架构，最早由 Vaswani 等人在 2017 年提出，它彻底改变了自然语言处理（NLP）的领域。

文本特征提取的方法 1. 基础方法 1.1 词袋模型（Bag of Words, BOW） 词袋模型最简单的方法。它将文本表示为一个词频向量，不考虑词语的顺序或上下文关系，只统计每个词在文本中出现的频

卷积神经网络 (CNN) 是一种专门用于处理图像、视频等数据的深度学习模型，主要用于计算机视觉任务，例如图像分类、目标检测和图像生成。CNN 通过卷积操作减少输入数据的尺寸，提取出重要特

本文简要介绍深度学习的前向传播与反向传播，以及前馈神经网络与反馈神经网络。简要介绍了常见的神经网络。

本文介绍深度学习常见的概念——权重初始化、评估指标、梯度消失和梯度爆炸。权重初始化 权重初始化是影响模型训练速度和性能的重要因素。合理的权重初始化可以帮助加快收敛，减少不稳定性。

本笔记介绍深度学习中常见的归一化、正则化。各种优化的归一化介绍（本质上进行标准化） 下面的归一化。本质上进行的是标准化，与普通的归一化不同。

本笔记介绍深度学习中常见的优化算法、激活函数。在深度学习中，优化算法用于调整模型的参数（如权重和偏置）以最小化损失函数。