机器学习

扩散模型（Diffusion Model）是一种生成模型，受热力学中扩散过程的启发，通过模拟数据从噪声中逐步去噪的过程来生成样本。其核心思想是渐进式地添加噪声（正向过程）和逐步去噪（反向过程）。

BERT（Bidirectional Encoder Representations from Transformers）是Google在2018年提出的预训练语言模型，其核心思想是通过双向Trans

Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型，最初由 Google 在 2017 年的论文《Attention Is All You Need》中提出，

深度学习模型能够在各种生产场景中发挥重要的作用，而深度学习模型往往在Python环境下完成训练，因而训练好的模型如何在生产环境下实现稳定可靠的部署，便是一个重要内容。

蚁群算法（Ant Colony Optimization, ACO）是一种模拟蚂蚁觅食行为的群体智能优化算法，由Marco Dorigo于1992年提出，常用于解决组合优化问题（如旅行商问题、路径规划

遗传算法是一种受生物进化理论启发的随机优化算法，其核心思想是模拟自然界中 “物竞天择、适者生存” 的进化过程，通过对候选解的迭代优化，找到问题的最优解。

协同过滤（Collaborative Filtering）是推荐系统中最经典的算法之一，其核心思想是 “物以类聚，人以群分”，即通过分析用户的历史行为数据，找到与目标用户相似的用户群体或相似的物品，从

支持向量机（Support Vector Machine，SVM）是一种经典的监督学习算法，主要用于分类任务，也可扩展到回归问题（称为支持向量回归，SVR）。其核心思想是通过寻找一个最优超平面，最大化

损失函数（Loss Function）是机器学习和深度学习中用于衡量模型预测值与真实值之间差异的函数，其值越小表示模型性能越好。不同的任务（如分类、回归、生成等）需要选择不同的损失函数。

图神经网络（Graph Neural Networks, GNN）是一种直接在图结构数据上运行的神经网络，用于处理节点、边或整个图的特征信息。

知识图谱（Knowledge Graph） 是一种基于图结构的语义网络，用于表示实体及其之间的关系，旨在实现更智能的知识表示和推理。它通过将现实世界中的各类信息抽象为 “实体-关系-实体” 的三元组结

长短期记忆（Long Short-Term Memory，LSTM）网络是一种特殊的循环神经网络（RNN），专门设计用于解决传统 RNN 在处理长序列数据时面临的梯度消失 / 爆炸问题，能够有效捕捉长

循环神经网络（Recurrent Neural Network, RNN）是一种专门设计用于处理序列数据（如文本、语音、时间序列等）的神经网络模型。其核心思想是通过引入时间上的循环连接，使网络能够保留

卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，广泛应用于图像识别、计算机视觉等领域。其设计理念源于对生物视觉皮层神经机制的模拟，核心原理是通过卷

在神经网络中，激活函数（Activation Function）扮演着至关重要的角色，它为神经网络引入非线性因素，使得网络能够学习和模拟复杂的非线性函数关系，从而具备处理各种复杂问题的能力。如果没有激

人工神经网络（Artificial Neural Network，ANN），是一种模拟生物神经网络结构和功能的计算模型，它通过大量的神经元相互连接，实现对复杂数据的处理和模式识别。从本质上讲，人工神经

主成分分析（Principal Component Analysis，PCA）是一种用于数据降维的方法，其核心目标是在尽可能保留原始数据信息的前提下，将高维数据映射到低维空间。该算法基于方差最大化理论

LightGBM 由微软公司开发，是基于梯度提升框架的高效机器学习算法，属于集成学习中提升树家族的一员。它以决策树为基学习器，通过迭代地训练一系列决策树，不断纠正前一棵树的预测误差，逐步提升模型的预测

CatBoost 是在传统GBDT基础上改进和优化的一种算法，由俄罗斯 Yandex 公司开发，于2017 年开源，在处理类别型特征和防止过拟合方面有独特优势。

XGBoost 在构建决策树时，利用了二阶导数信息。在损失函数的优化过程中，不仅考虑了一阶导数（梯度），还引入了二阶导数（海森矩阵），这使得算法能够更精确地找到损失函数的最优解，加速模型的收敛速度