手写系列

本文已参与[新人创作礼]，一起开启掘金之路。 LR  对 对数几率 进行 线性分类器建模。 log p/(1-p)  =  w*x+b p = 1  /  1+e^(-w*x-b)

决策树 ID3、C4.5 只处理离散特征。 （1次遍历：最优特征） cart 既能处理离散特征，也能处理连续特征。(2次遍历：最优特征，最优特征分割点) ID3、C4.5是多叉树。cart是二叉树。

手写系列 损失篇 1. BCE_Loss 2. Cross_Entropy_Loss 3. BCE_FocalLoss 4.CrossEntropyLoss

手写实现self_attention_layer  注意： q、k维度相同，v维度可以不同（=输出维度） 矩阵乘法np.matmul(m,n)。 矩阵点乘 np.multiply(m, n)。 1.1