ICream103218

监督学习的目的就是要最小化cost Function. 但这个过程中往往会产生些错误，如overfit，而正则化的存在是通过调整正则化参数而达到想要的目的 往往表示向量中不为0的个数，如果用L0范数来正规化，那么我们就希望矩阵大部分都为0，即稀疏。这个问题在数学上是一个NP-h…

逻辑回归和交叉熵对于MSE顾虑都一样，cost function = (y-a)^2，对于神经网络而言，会降低w,b的更新速度，而对于逻辑回归来说,MSE会导致代价函数非凸，存在很多局部最优解。 相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x)…

最近上课讲到SVM，太久没回顾了有点蒙，之前笔记之记在纸上，甚是不便，今日便将其整理upload。 我们可以相对原本的perceptron算法换个思路去思考，因为我们有梯度更新如下，即最终的w = 所有ηyx相加，b = 所有ηy相加，那么我们是如何确定每次运算是否更新w，b，…

1. 信息熵 为啥是以2为低？ 传统。。。。(只要保证0-1之间能正确表达概率越小，信息量越大即可) 转换即得到一开始的公式。 2. 条件熵 P(y|x) = ..... 先把条件分解，再求每个条件下的H(x)，以及该条件的概率p(x)，然后对应乘起来再相加即可。 3. 信息增…

线性回归模型满足线性性、独立性、方差齐性以及正态性的同时，又不丢失信息，此种变换称之为Box—Cox变换。 长尾截断相当于上面的箱型图删除异常值，通过删除掉频率特别小的而得到类似于正太分布图像。 不是所有非正太分布都要转换成正态分布，比如说泊松分布，卡方分布。偏态分布(偏度,峰…

训练集数据和测试集数据 查看下两者的分布是否大致一致(查看mean，std。。。), 也可以通过画图(通过对目标值Y的画图)。如果不一致，可能要考虑将训练集分布转换成和测试集一致。 缺失值处理，对缺失值敏感的模型(如LR)需要进行填补。(一般单作一类别) 相关性分析，如果特征之…