最近，我聆听了Naftali Tishby教授的演讲“深度学习中的信息论”，感觉很有意思。他在演讲中说明了如何将信息论用于研究深度神经网络的增长和转换，他利用IB（Information Bottleneck）方法，为深度神经网络（DNN）开创了一个新的领域，由于参数的数量成指…

决策树 (Decision Tree) 是一种有监督学习方法，通过特征和标签构造一棵决策树，学习特征之间的规则，以解决分类和回归问题。 使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策…

「回归模型」：例如预测明天的股价。 「分类模型」：将样本分为两类或者多类。 「结构化学习模型」：输出的不是向量而是其他「结构。」 「监督学习」：学习的样本「全部」具有标签，训练网络得到一个最优模型。 「无监督学习」：训练的样本「全部」无标签，例如「聚类样本。」 「半监督学习」：…

最近几年机器学习非常火，几乎每一个项目组都在思考自己手头的项目能不能用机器学习的方法进行优化。对于前端同学来说，有一个主要的难点在于前端技术栈和机器学习所需要的基础技能有很大的gap，市面上的机器学习的基础教程，对读者的数学基础要求偏高，有些最基本的原理或者世界观，被当做自然而…