机器学习/深度学习数学原理

多头注意力机制（Multi-Head Attention）是深度学习中用于处理序列数据的一种注意力机制扩展形式。它最初被引入到 Transformer 模型中，并成为其核心组成部分之

结构类似下图，是循环展开的一种结构， 通过隐藏层传递不同时序之间的信息，使得这种网络结构可以适应不同序列长度的结构

公式过几天整理完发 首先我们应该实现的求协方差矩阵特征向量的方法 jacobi.h 参考之前写的Jocabi法：如何求对称矩阵的特征值和特征向量 PCA 算法主体

import numpy as np from sklearn.datasets import load_breast_cancer

1.拉格朗日乘子法 1. 拉格朗日函数 凸优化：凸优化问题是指优化问题的目标函数是凸函数，而约束集合是凸集。在这样的问题中，局部最优解同时也是全局最优解 对于优化问题 $ \underset{x}{m

sklearn.cluster.KMeans 1.基本原理 是一个比较简单的算法 随机抽取k个点作为最初的质心，进入循环 1.将每个样本点分配到离它最近的质心，生成k个簇 2.对于每个簇，计算所有被分

简单的AdaGrad, RMSProp, Adam的数学原理，介绍算法的震荡问题和自适应学习率算法学习率过早趋近于0的问题

W_{new} = W_{old} - α ∇f(W_{old}) ，α为学习率，沿梯度方向时函数增长最快，反之与梯度方向相反函数减少最快所以这里是负号，我们用的函数是误差函函数

/* jacobi方法求对称矩阵的特征值和特征向量 Dim: 输入的维度 MaxEpoch: 如果达不到指定误差范围，最多多少次退出 Eps: 设定误差，如果达到误差则退出 Mat: