与星空随行

采样就是从特定的概率分布中抽取相应样本点的过程。采样在机器学习中有着非常重要的应用：它可以将复杂的分布简化为离散的样本点；可以用重采样对样本集进行调整以更好地后期的模型学习...

我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业都需要考虑自己的业务问题，并不是一个算法可以在所有的业务和数据上面都能起到好的效果，个人的喜爱和思...

通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价...

分布可以分为连续分布和离散分布。 常见的离散型随机变量的分布有单点分布、两点分布、二项分布、几何分布、负二项分布、超几何分布、泊松分布等. 正态分布又叫高斯分布，是一个非常...

以中心定义的数据簇：这类数据集合倾向于球形分布，通常中心被定义为质心，即此数据簇中所有点的平均值。集合中的数据到中心的距离相比到其它簇中心的距离更近； 以密度定义的数据簇：...

特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。 特征与目标的相关性：这点比较显见，与目标相...

在machine learning领域，PCA和LDA都可以看成是数据降维的一种方式。 直观看：投影后的投影值尽可能分散。（方差） 从PCA和LDA的计算过程来看，最后其实...

线性回归中采用平方和的形式，一般都是由模型条件概率的最大似然函数 概率积最大值，求导，推导出来的。 损失函数越小，模型就越好，而且损失函数 尽量 是一个凸函数，便于收敛计算...

one-hot编码存在维度灾难和语义鸿沟的问题。 维度灾难是one-hot的向量维度和词库大小一致。one-hot表示的向量维度很大，使得数据样本稀疏，距离计算困难，造成维...