数据挖掘常用十大算法

云游者
702 阅读25分钟

为了进行数据挖掘任务，数据科学家们提出了各种模型，在众多的数据挖掘模型中，国际权威的学术组织ICDM（the IEEE International Conference on Data Mining）评选出了十大经典的算法。

按照不同的目的，可以将这些算法分成四类，以便能够更好的理解。

  • 分类算法：C4.5，朴素贝叶斯(Naive Bayes), SVM，KNN，Adaboost，CART
  • 聚类算法：K-Means, EM
  • 关联分析：Apriori
  • 连接分析：PageRank

一、C4.5

C4.5 算法是十大算法之首。它是决策树的算法，它创造性地在决策树构造过程中就进行了剪枝，并且可以处理连续的属性，也能对不完整的数据进行处理。它可以说是决策树分类中，具有里程碑式意义的算法。

1.1、决策树的工作原理

一棵典型的决策树形成，会经历两个阶段：构造和剪枝。

构造

构造的过程就是选择什么属性作为节点的过程，那么在构造过程中，会存在三种节点：

  1. 根节点：树的最顶端，开始的那个节点。
  2. 内部节点：树中间的那些节点。
  3. 叶节点：树的最底端的节点，也就是决策结果。

节点之间存在父子关系。根节点会有子节点，子节点会有子子节点，最终到叶节点就停止了，叶节点不存在子节点。那么在构造过程中，要解决三个重要的问题：

  1. 选择哪个属性作为根节点。
  2. 选择哪些属性作为子节点。
  3. 什么时候停止得到目标状态，即叶节点。

剪枝

剪枝就是给决策树瘦身，目标就是在不需要太多的判断时，同样可以得到不错的结果。之所以这么做，是为了防止“过拟合”现象的发生，提高模型的泛化能力。

对决策树的剪枝一般可以分为“预剪枝”(Pre-Pruning)和“后剪枝”(Post-Pruning)。

预剪枝是在决策树构造时就进行剪枝。方法是在构造的过程中对节点进行评估，如果对某个节点进行划分，在验证集中不能带来准确性的提升，那么对这个节点进行划分就没有意义，这时就会把当前节点作为叶节点，不对其进行划分。

后剪枝就是在生成决策树之后再进行剪枝，通常会从决策树的叶节点开始，逐层向上对每个节点进行评估。如果剪掉这个节点子树，与保留该节点子树在分类准确性上差别不大，或者剪掉该节点子树，能在验证集中带来准确性的提升，那么就可以把该节点子树进行剪枝。方法是：用这个节点子树的叶子节点来替代该节点，类标记为这个节点子树中最频繁的那个类。

1.2、决策树构建的关键指标

在决策过程中有三个重要的问题，而将哪个属性作为根节点是个关键问题，先介绍两个指标：纯度和信息熵。纯度就是让目标变量的分歧最小，信息熵表示了信息的不确定度。

信息学之父香农引入了信息熵的概念，并给出了计算的数学公式：

Entropy(t)=−∑i=0c−1p(i∣t)log2p(i∣t)Entropy(t)=-\sum_{i=0}^{c-1}p(i|t)log_{2}p(i|t)

p(i|t)代表了节点t为分类i的概率。从信息熵和纯度的定义中可以得到：信息熵越大，纯度越低。当集合中的所有样本均匀混合时，信息熵最大，纯度最低。

经典的“不纯度”的指标有三种，分别是信息增益（ID3 算法）、信息增益率（C4.5 算法）、基尼指数（Cart 算法）。

1.3、ID3 算法

ID3 算法计算的是信息增益，信息增益指的就是划分可以带来纯度的提高，信息熵的下降。它的计算公式，是父亲节点的信息熵减去所有子节点的信息熵。在计算的过程中，我们会计算每个子节点的归一化信息熵，即按照每个子节点在父节点中出现的概率，来计算这些子节点的信息熵。所以信息增益的公式可以表示为：

Gain(D,a)=Entropy(D)−∑i=1k∣Di∣∣D∣Entropy(Di)Gain(D,a)=Entropy(D)-\sum_{i=1}^{k}\frac{|D_i|}{|D|}Entropy(D_i)

D是父节点，Di是子节点，Gain(D,a)中的a作为D节点的属性选择。

基于ID3 算法得到的决策树，就是选取信息增益最大的属性作为根节点，从而可以发现ID3 算法倾向于选择取值比较多的属性。有些属性可能对分类任务没有太大作用，但是他们仍然可能会被选为最优属性。这种缺陷不是每次都会发生，只是存在一定的概率。针对可能发生的缺陷，后人提出了新的算法进行改进。

1.4、C4.5 算法

因为 ID3 在计算的时候，倾向于选择取值多的属性。为了避免这个问题，C4.5 采用信息增益率的方式来选择属性。信息增益率 = 信息增益 / 属性熵。当属性有很多值的时候，相当于被划分成了许多份，虽然信息增益变大了，但是对于 C4.5 来说，属性熵也会变大，所以整体的信息增益率并不大。

ID3 构造决策树的时候，容易产生过拟合的情况。在 C4.5 中，会在决策树构造之后采用悲观剪枝（PEP），这样可以提升决策树的泛化能力。

C4.5 在 ID3 的基础上，用信息增益率代替了信息增益，解决了噪声敏感的问题，并且可以对构造树进行剪枝、处理连续数值以及数值缺失等情况，但是由于 C4.5 需要对数据集进行多次扫描，算法效率相对较低。

二、朴素贝叶斯(Naive Bayes)

朴素贝叶斯模型是基于概率论的原理，它的思想是这样的：对于给出的未知物体想要进行分类，就需要求解在这个未知物体出现的条件下各个类别出现的概率，哪个最大，就认为这个未知物体属于哪个分类。

2.1、贝叶斯原理

贝叶斯原理是怎么来的呢？贝叶斯为了解决一个叫“逆向概率”问题写了一篇文章，尝试解答在没有太多可靠证据的情况下，怎样做出更符合数学逻辑的推测。

所谓“逆向概率”是相对“正向概率”而言。正向概率的问题很容易理解，比如我们已经知道袋子里面有 N 个球，不是黑球就是白球，其中 M 个是黑球，那么把手伸进去摸一个球，就能知道摸出黑球的概率是多少。但这种情况往往是上帝视角，即了解了事情的全貌再做判断。

在现实生活中，我们很难知道事情的全貌。贝叶斯则从实际场景出发，提了一个问题：如果我们事先不知道袋子里面黑球和白球的比例，而是通过我们摸出来的球的颜色，能判断出袋子里面黑白球的比例么？

涉及到了贝叶斯原理中的几个概念：

  • 先验概率：通过经验来判断事情发生的概率，比如南方的梅雨季是 6-7 月，就是通过往年的气候总结出来的经验，这个时候下雨的概率就比其他时间高出很多。
  • 后验概率：后验概率就是发生结果之后，推测原因的概率。比如说某人查出来了患有“贝叶死”，那么患病的原因可能是 A、B 或 C。患有“贝叶死”是因为原因 A 的概率就是后验概率。它是属于条件概率的一种。
  • 条件概率：事件 A 在另外一个事件 B 已经发生条件下的发生概率，表示为 P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。比如原因 A 的条件下，患有“贝叶死”的概率，就是条件概率。
  • 似然函数（likelihood function）：你可以把概率模型的训练过程理解为求参数估计的过程。举个例子，如果一个硬币在 10 次抛落中正面均朝上。那么你肯定在想，这个硬币是均匀的可能性是多少？这里硬币均匀就是个参数，似然函数就是用来衡量这个模型的参数。似然在这里就是可能性的意思，它是关于统计参数的函数。

贝叶斯公式：

P(Bi∣A)=P(Bi)P(A∣Bi)∑i=1nP(Bi)P(A∣Bi)P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum{i=1}^{n}P(B_i)P(A|B_i)}

2.2、朴素贝叶斯

朴素贝叶斯是一种简单但极为强大的预测建模算法。之所以称为朴素贝叶斯，是因为它假设每个输入变量是独立的。这是一个强硬的假设，实际情况并不一定，但是这项技术对于绝大部分的复杂问题仍然非常有效。

朴素贝叶斯模型由两种类型的概率组成：

  1. 每个类别的概率P(Cj)；
  2. 每个属性的条件概率P(Ai|Cj)。

贝叶斯原理、贝叶斯分类和朴素贝叶斯这三者之间的区别：

  • 贝叶斯原理是最大的概念，它解决了概率论中“逆向概率”的问题，在这个理论基础上，人们设计出了贝叶斯分类器，朴素贝叶斯分类是贝叶斯分类器中的一种，也是最简单，最常用的分类器。
  • 朴素贝叶斯之所以朴素是因为它假设属性是相互独立的，因此对实际情况有所约束，如果属性之间存在关联，分类准确率会降低。

三、SVM

SVM 的中文叫支持向量机，英文是 Support Vector Machine，简称 SVM。它是常见的一种分类方法，在机器学习中，SVM 是有监督的学习模型。

什么是有监督的学习模型呢？它指的是我们需要事先对数据打上分类标签，这样机器就知道这个数据属于哪个分类。同样无监督学习，就是数据没有被打上分类标签，这可能是因为我们不具备先验的知识，或者打标签的成本很高。所以我们需要机器代我们部分完成这个工作，比如将数据进行聚类，方便后续人工对每个类进行分析。SVM 作为有监督的学习模型，通常可以帮我们模式识别、分类以及回归分析。

3.1、SVM 的工作原理

SVM 在训练中建立了一个超平面的分类模型。超平面的数学表达可以写成：

g(x)=wTx+bw,xϵRng(x)=w^Tx+b\\ w,x\epsilon{R^n}

在这个公式里，w、x 是 n 维空间里的向量，其中 x 是函数变量；w 是法向量。法向量这里指的是垂直于平面的直线所表示的向量，它决定了超平面的方向。

SVM 就是帮我们找到一个超平面，这个超平面能将不同的样本划分开，同时使得样本集中的点到这个分类超平面的最小距离（即分类间隔）最大化。

在这个过程中，支持向量就是离分类超平面最近的样本点，实际上如果确定了支持向量也就确定了这个超平面。所以支持向量决定了分类间隔到底是多少，而在最大间隔以外的样本点，其实对分类都没有意义。

所以说， SVM 就是求解最大分类间隔的过程，我们还需要对分类间隔的大小进行定义。

首先，我们定义某类样本集到超平面的距离是这个样本集合内的样本到超平面的最短距离。我们用 di 代表点 xi 到超平面 wxi+b=0 的欧氏距离。因此我们要求 di 的最小值，用它来代表这个样本到超平面的最短距离。di 可以用公式计算得出：

di=∣wxi+b∣∣∣w∣∣d_i=\frac{|wx_i+b|}{||w||}

3.2、硬间隔、软间隔和非线性 SVM

硬间隔指的就是完全分类准确，不能存在分类错误的情况。软间隔，就是允许一定量的样本分类错误。

在非线性 SVM 中，核函数的选择就是影响 SVM 最大的变量。最常用的核函数有线性核、多项式核、高斯核、拉普拉斯核、sigmoid 核，或者是这些核函数的组合。这些函数的区别在于映射方式的不同。通过这些核函数，我们就可以把样本空间投射到新的高维空间中。

当然软间隔和核函数的提出，都是为了方便我们对上面超平面公式中的 w* 和 b* 进行求解，从而得到最大分类间隔的超平面。

  • 完全线性可分情况下的线性分类器，也就是线性可分的情况，是最原始的 SVM，它最核心的思想就是找到最大的分类间隔；
  • 大部分线性可分情况下的线性分类器，引入了软间隔的概念。软间隔，就是允许一定量的样本分类错误；
  • 线性不可分情况下的非线性分类器，引入了核函数。它让原有的样本空间通过核函数投射到了一个高维的空间中，从而变得线性可分。

四、KNN

KNN 也叫 K 最近邻算法，英文是 K-Nearest Neighbor。所谓 K 近邻，就是每个样本都可以用它最接近的 K 个邻居来代表。如果一个样本，它的 K 个最接近的邻居都属于分类 A，那么这个样本也属于分类 A。

“近朱者赤，近墨者黑”可以说是 KNN 的工作原理。整个计算过程分为三步：

  1. 计算待分类物体与其他物体之间的距离；
  2. 统计距离最近的 K 个邻居；
  3. 对于 K 个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类。

K 值如何选择

如果 K 值比较小，就相当于未分类物体与它的邻居非常接近才行。这样产生的一个问题就是，如果邻居点是个噪声点，那么未分类物体的分类也会产生误差，这样 KNN 分类就会产生过拟合。
如果 K 值比较大，相当于距离过远的点也会对未知物体的分类产生影响，虽然这种情况的好处是鲁棒性强，但是不足也很明显，会产生欠拟合情况，也就是没有把未分类物体真正分类出来。
所以 K 值应该是个实践出来的结果，并不是我们事先而定的。在工程上，我们一般采用交叉验证的方式选取 K 值。
交叉验证的思路就是，把样本集中的大部分样本作为训练集，剩余的小部分样本用于预测，来验证分类模型的准确性。所以在 KNN 算法中，我们一般会把 K 值选取在较小的范围内，同时在验证集上准确率最高的那一个最终确定作为 K 值。

距离如何计算

在 KNN 算法中，还有一个重要的计算就是关于距离的度量。两个样本点之间的距离代表了这两个样本之间的相似度。距离越大，差异性越大；距离越小，相似度越大。

关于距离的计算方式有下面五种方式：

  • 欧氏距离；
  • 曼哈顿距离；
  • 闵可夫斯基距离；
  • 切比雪夫距离；
  • 余弦距离。

欧式距离是我们最常用的距离公式，也叫做欧几里得距离。在二维空间中，两点的欧式距离公式如下：

d=(x1−y1)2+(x2−y2)2d = \sqrt{(x_1-y_1)^2+(x_2-y_2)^2}

同理，可以得到两点在n维空间中的距离：

d=∑i=1n(xi−yi)2d = \sqrt{\sum_{i=1}^{n}(x_i-y_i)^2}

曼哈顿距离在几何空间中用的比较多。它等于两个点在坐标系上绝对轴距总和，用公式表示如下：

d=∣x1−y1∣+∣x2−y2∣d = |x_1 - y_1| + |x_2 - y_2|

闵可夫斯基距离不是一个距离，而是一组距离的定义。在n维空间中的两个点之间的闵可夫斯基距离为：

d=p∑i=1n∣xi−yi∣pd = {p}\sqrt{\sum_{i=1}^{n}|x_i-y_i|^p}

其中p代表空间的维数，p=1时就是曼哈顿距离;p=2时就是欧式距离，p→∞就是切比雪夫距离。

切比雪夫距离就是两个点坐标数值差的绝对值的最大值，用数学公式表示就是：max(∣x1−y1∣,∣x2−y2∣)max(|x_1 - y_1|,|x_2 - y_2|)

余弦距离实际上计算的是两个向量的夹角，是在方向上计算两者之间的差异，对绝对数值不敏感。在兴趣相关性上，角度关系比距离的绝对值更重要，因此余弦距离可以用于衡量用户对内容兴趣的区分度。

KNN 的计算过程是大量计算样本点之间的距离。为了减少计算距离次数，提升 KNN 的搜索效率，人们提出了 KD 树（K-Dimensional 的缩写）。KD 树是对数据点在 K 维空间中划分的一种数据结构。在 KD 树的构造中，每个节点都是 k 维数值点的二叉树。既然是二叉树，就可以采用二叉树的增删改查操作，这样就大大提升了搜索效率。

五、Adaboost

Adaboost 在训练中建立了一个联合的分类模型。boost 在英文中代表提升的意思，所以 Adaboost 是个构建分类器的提升算法。它可以让我们多个弱的分类器组成一个强的分类器，所以 Adaboost 也是一个常用的分类算法。

Boosting 算法是集成算法中的一种，同时也是一类算法的总称。这类算法通过训练多个弱分类器，将它们组合成一个强分类器，也就是我们俗话说的“三个臭皮匠，顶个诸葛亮”。为什么要这么做呢？因为臭皮匠好训练，诸葛亮却不好求。因此要打造一个诸葛亮，最好的方式就是训练多个臭皮匠，然后让这些臭皮匠组合起来，这样往往可以得到很好的效果。这就是 Boosting 算法的原理。

假设弱分类器为 Gi(x)，它在强分类器中的权重 αi，那么就可以得出强分类器 f(x)：

f(x)=∑i=1naiGi(x)f(x) = \sum_{i=1}^{n}{a_iG_i(x)}

有了这个公式，为了求解强分类器，会关注两个问题：

  1. 如何得到弱分类器，也就是在每次迭代训练的过程中，如何得到最优弱分类器？
  2. 每个弱分类器在强分类器中的权重是如何计算的？

第一个问题解决
实际上，AdaBoost 算法是通过改变样本的数据分布来实现的。AdaBoost 会判断每次训练的样本是否正确分类，对于正确分类的样本，降低它的权重，对于被错误分类的样本，增加它的权重。再基于上一次得到的分类准确率，来确定这次训练样本中每个样本的权重。然后将修改过权重的新数据集传递给下一层的分类器进行训练。这样做的好处就是，通过每一轮训练样本的动态权重，可以让训练的焦点集中到难分类的样本上，最终得到的弱分类器的组合更容易得到更高的分类准确率。

我们可以用 D(k+1) 代表第 k+1 轮训练中，样本的权重集合，其中 W(k+1,1) 代表第 (k+1)轮中第一个样本的权重，以此类推 W(k+1,N) 代表第k+1轮中第N个样本的权重，因此用公式表示为：

Dk+1=(wk+1,1,wk+1,2,...,wk+1,N)D_{k+1} = (w_{k+1,1},w_{k+1,2},...,w_{k+1,N})

第 k+1 轮中的样本权重，是根据该样本在第 k 轮的权重以及第k个分类器的准确率而定，具体的公式为：

wk+1,i=wk,iZkexp(−akyiGk(xi)),i=1,2,...,Nw_{k+1,i}=\frac{w_{k,i}}{Z_k}exp(-a_ky_iG_k(x_i)),i=1,2,...,N

第二个问题解决
实际上在一个由 K 个弱分类器中组成的强分类器中，如果弱分类器的分类效果好，那么权重应该比较大，如果弱分类器的分类效果一般，权重应该降低。所以我们需要基于这个弱分类器对样本的分类错误率来决定它的权重，用公式表示就是：

ai=12log1−eieia_i = \frac{1}{2}log\frac{1-e_i}{e_i}

其中ei就代表第i个分类错误率。

六、CART

CART 代表分类和回归树，英文是 Classification and Regression Trees。像英文一样，它构建了两棵树：一棵是分类树，另一棵是回归树。和 C4.5 一样，它是一个决策树学习方法。CART 分类树与 C4.5 算法类似，只是属性选择的指标采用的是基尼系数。

CART 分类树

基尼系数本身反映了样本的不确定度。当基尼系数越小的时候，说明样本之间的差异性小，不确定程度低。分类的过程本身是一个不确定度降低的过程，即纯度的提升过程。所以 CART 算法在构造分类树的时候，会选择基尼系数最小的属性作为属性的划分。

假设 t 为节点，那么该节点的 GINI 系数的计算公式为：

GINI(t)=1−∑k[p(Ck∣t)]2GINI(t) = 1 - \sum_k{[p(C_k|t)]^2}

p(Ck|t)表示节点t属于类别Ck的概率，节点t的基尼系数为1减去各类别Ck概率平方和。

在 CART 算法中，基于基尼系数对特征属性进行二元分裂，假设属性 A 将节点 D 划分成了 D1 和 D2，节点 D 的基尼系数等于子节点 D1 和 D2 的归一化基尼系数之和，用公式表示为：

GINI(D,t)=D1DGINI(D1)+D2DGINI(D2)GINI(D, t) = \frac{D_1}{D}GINI(D_1) + \frac{D_2}{D}GINI(D_2)

CART 回归树

CART 回归树划分数据集的过程和分类树的过程是一样的，只是回归树得到的预测结果是连续值，而且评判“不纯度”的指标不同。在 CART 分类树中采用的是基尼系数作为标准，那么在 CART 回归树中，如何评价“不纯度”呢？实际上我们要根据样本的混乱程度，也就是样本的离散程度来评价“不纯度”。

样本的离散程度具体的计算方式是，先计算所有样本的均值，然后计算每个样本值到均值的差值。我们假设 x 为样本的个体，均值为 u。为了统计样本的离散程度，我们可以取差值的绝对值，或者方差。

其中差值的绝对值为样本值减去样本均值的绝对值：∣x−u∣|x - u|
方差为每个样本值减去样本均值的平方和除以样本个数：s=1n∑(x−u)2s = \frac{1}{n}\sum{(x-u)^2}

七、K-Means

K-Means 算法是一个聚类算法。你可以这么理解，最终我想把物体划分成 K 类。假设每个类别里面，都有个“中心点”，即意见领袖，它是这个类别的核心。现在我有一个新点要归类，这时候就只要计算这个新点与 K 个中心点的距离，距离哪个中心点近，就变成了哪个类别。

K-Means 的工作原理:

  1. 选取 K 个点作为初始的类中心点，这些点一般都是从数据集中随机抽取的；
  2. 将每个点分配到距离最近的类中心点，这样就形成了 K 个类，然后重新计算每个类的中心点；
  3. 重复第二步，直到类不发生变化，或者你也可以设置最大迭代次数，这样即使类中心点发生变化，但是只要达到最大迭代次数就会结束。

如何确定 K 类的中心点？一开始我们是可以随机指派的，当你确认了中心点后，就可以按照距离将其划分到不同的类别中。

中心点选择错了怎么办？其实不用担心，K-Means 有自我纠正机制，在不断的迭代过程中，会纠正中心点。中心点在整个迭代过程中，并不是唯一的，只是你需要一个初始值，一般算法会随机设置初始的中心点。

距离的计算公式：欧式距离、曼哈顿距离、切比雪夫距离、余弦距离。

八、EM

EM 算法也叫最大期望算法，是求参数的最大似然估计的一种方法。原理是这样的：假设我们想要评估参数 A 和参数 B，在开始状态下二者都是未知的，并且知道了 A 的信息就可以得到 B 的信息，反过来知道了 B 也就得到了 A。可以考虑首先赋予 A 某个初值，以此得到 B 的估值，然后从 B 的估值出发，重新估计 A 的取值，这个过程一直持续到收敛为止。

最大似然估计是什么呢？它指的就是一件事情已经发生了，然后反推更有可能是什么因素造成的。还是用一男一女比较身高为例，假设有一个人比另一个人高，反推他可能是男性。最大似然估计是一种通过已知结果，估计参数的方法。

EM 算法是一种求解最大似然估计的方法，通过观测样本，来找出样本的模型参数。

K-Means 是通过距离来区分样本之间的差别的，且每个样本在计算的时候只能属于一个分类，称之为是硬聚类算法。而 EM 聚类在求解的过程中，实际上每个样本都有一定的概率和每个聚类相关，叫做软聚类算法。

把 EM 算法理解成为是一个框架，在这个框架中可以采用不同的模型来用 EM 进行求解。常用的 EM 聚类有 GMM 高斯混合模型和 HMM 隐马尔科夫模型。GMM（高斯混合模型）聚类就是 EM 聚类的一种。

九、Apriori

Apriori 是一种挖掘关联规则（association rules）的算法，它通过挖掘频繁项集（frequent item sets）来揭示物品之间的关联关系，被广泛应用到商业挖掘和网络安全等领域中。频繁项集是指经常出现在一起的物品的集合，关联规则暗示着两种物品之间可能存在很强的关系。

关联规则中的几个重要概念：支持度、置信度、提升度。

  • 支持度：支持度是个百分比，它指的是某个商品组合出现的次数与总次数之间的比例。支持度越高，代表这个组合出现的频率越大。
  • 置信度：置信度是个条件概念，就是说在 A 发生的情况下，B 发生的概率是多少。
  • 提升度：提升度 (A→B)= 置信度 (A→B)/支持度(B), 用来衡量 A 出现的情况下，是否会对 B 出现的概率有所提升。
    • 提升度 (A→B) > 1 : 代表有提升；
    • 提升度 (A→B) = 1 : 代表没有提升，也没有下降；
    • 提升度 (A→B) < 1 : 代表有下降；

频繁项集就是支持度大于等于最小支持度 (Min Support) 阈值的项集，所以小于最小值支持度的项目就是非频繁项集，而大于等于最小支持度的项集就是频繁项集。

十、PageRank

PageRank 起源于论文影响力的计算方式，如果一篇文论被引入的次数越多，就代表这篇论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中：当一个页面链出的页面越多，说明这个页面的“参考文献”越多，当这个页面被链入的频率越高，说明这个页面被引用的次数越高。基于这个原理，我们可以得到网站的权重划分。

一个网页的影响力 = 所有入链集合的页面的加权影响力之和，用公式表示为：

PR(u)=∑vϵBuPR(v)L(v)PR(u) = \sum_{v\epsilon{B_u}}\frac{PR(v)}{L(v)}

u: 待评估的页面
Bu: 页面u的入链集合
针对入链集合中的任意页面 v，它能给 u 带来的影响力是其自身的影响力 PR(v) 除以 v 页面的出链数量，即页面 v 把影响力 PR(v) 平均分配给了它的出链，这样统计所有能给 u 带来链接的页面 v，得到的总和就是网页 u 的影响力，即为 PR(u)。

PageRank 的计算过程可能会面临两个问题：

  1. 等级泄露（Rank Leak）：如果一个网页没有出链，就像是一个黑洞一样，吸收了其他网页的影响力而不释放，最终会导致其他网页的 PR 值为 0。
  2. 等级沉没（Rank Sink）：如果一个网页只有出链，没有入链（如下图所示），计算的过程迭代下来，会导致这个网页的 PR 值为 0（也就是不存在公式中的 V）。

为了解决简化模型中存在的等级泄露和等级沉没的问题，拉里·佩奇提出了 PageRank 的随机浏览模型。他假设了这样一个场景：用户并不都是按照跳转链接的方式来上网，还有一种可能是不论当前处于哪个页面，都有概率访问到其他任意的页面，比如说用户就是要直接输入网址访问其他页面，虽然这个概率比较小。

所以他定义了阻尼因子 d，这个因子代表了用户按照跳转链接来上网的概率，通常可以取一个固定值 0.85，而 1-d=0.15 则代表了用户不是通过跳转链接的方式来访问网页的，比如直接输入网址。

PR(u)=1−dN+d∑vϵBuPR(v)L(v)PR(u) = \frac{1-d}{N} + d\sum_{v\epsilon{B_u}}\frac{PR(v)}{L(v)}

N 为网页总数，这样我们又可以重新迭代网页的权重计算了，因为加入了阻尼因子 d，一定程度上解决了等级泄露和等级沉没的问题。

avatar
文章
阅读
粉丝