机器学习

本文方案最高成绩： 89.102， 这个成绩在很多月份可以进入前三名。比赛是长期赛，每个月一个榜单。文中也提到了很多优化方案，希望大家多多尝试，一定可以拿到更好成绩。

场景描述 在模型评估与调整的过程中，我们往往遇到“过拟合”或“欠拟合”的情况。如何有效的识别“过拟合”与“欠拟合”现象，并有针对性的对模型进行调整，是不断改进机器学习模型的关键。特别是在实际项目中，采

对于很多算法工程师来说，超参数调优是一件非常头疼的事情。除了根据经验设定所谓的“合理值”外，一般很难找到合理的方法去寻找超参数的最优取值。而与此同时，超参数对于模型效果的影响又至关重要。

根据李航《统计学习方法》这本书的描述，机器学习算法，可以分为概率模型和非概率模型。这本书所提到的两个分类所包含的模型如下： 包括决策树、朴素贝叶斯、隐马尔科夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型是概率模型。 包括感知机、支持向量机、k近邻、AdaB…

聚类是针对特定样本，根据他们特征的相似度或者距离，将其归并到若干个“类”或“簇”。 这篇文章简单介绍KMeans聚类算法的过程，并仿sklean，实现一个简化版的的KMeans算法。 为了演示过程，通过图例来更直观的感受一下KMeans的计算过程。 首先这里有8个点。我们要把这…

介绍决策树算法的文章很多，讲的也非常好，这篇文章从基础概念铺垫，到决策树算法的生成，决策树算法的剪枝，一步一步来描述决策树算法。 决策树可以用来干嘛？当然是用来做决策，他可以用来处理两类问题：（1）处理分类问题（2）处理回归问题。本文只介绍分类问题的解决思路。 该算法的关键的是…

线性回归是回归算法里最简单的一种算法了。 算法通俗介绍：举个二维平面的例子吧。初中数学里，已知2点可以求一条直线。那么如果给定100个点呢。怎么去求一条直线？一条直线是不可能拟合100个点的。误差一定是会有的，那么线性规划的目的就是用一条直线去拟合这100个点。使得总的误差最小…

感知机算法是一个经典的二分类算法。 通俗的描述：桌上放了很多橘子和苹果，并且存在一根线，使得苹果和橘子各位于线的两边。感知机算法的目的就是找到这根线。 正式的描述（摘抄自《机器学习算法》--李航）：感知机（perceptron）算法是二类分类的线性分类模型，其输入为实例的特征向…

KNN（K-nearest neighbor）是机器学习里最简单的算法之一，原理也非常简单。可以用于分类或者回归。当我们要为某个新输入的实例分类的时候，我们可以抽取距离该样本最近的K个实例，如果这k个实例中的大多数属于某个类别，我们就把该实例分为该类别。 通俗一点，物以类聚，人…