2019年07月31日阅读 744

信息论和交叉熵损失函数

同步csdn地址:

blog.csdn.net/soullines/a…

在机器学习和深度学习中,很多时候需要进行分类,这时会涉及到决策边界,比如sigmod激活函数; 但是当面对多分类的时候(比如经典的MNIST),我们需要预测每一个种类output的概率,比如softmax,这时候我们需要对: 信息论和交叉熵有一个清晰的认识那么我们的文章将会对 信息论和交叉熵损失函数 进行一个讲解;

1.信息论

1.1 信息论是从物理学中借鉴过来的,我们只讲其数学意义:

其实信息论是一种用来描述 概率分布或者蒋概率分布之间的相似性 的一种思想信息论的核心思想就是用来表示 意外程度 ,即小概率事件发生的信息量大

1.必然事件的信息量为0
2.事件发生的概率越小,其提供的信息量就越大
3.信息是具有增量的特征的,即同一事件,发生一次的信息量是 $I$ ,则重复投递两次的信息量是 $2I$ 那么为了实现我们的目的 将概率事件的信息量进行量化

2.自信息

就是单个事件的信息量的量化值

我们构建这样一个公式:

I(x) = -log(p(x))

这里 $P(x)$ 就是随机事件 $X = x$ 时候事件发生的概率
$log$ 对数函数式增函数,那么 $-log$ 函数就是减函数,这样构建出来的函数就实现了我们的某种目的,随着概率的减小,信息量就越大但是自信息仅能预测一个事件的信息量
$I(x)$ 的单位是奈特 $nat$ ,就是说1 $nat$ 代表以 $1/e$ 概率的一个事件的自信息量

3.香农熵

往往在我们的实际应用中我们需要使用 香农熵 来对整个事件概率分布中的不确定性总量进行量化

在这里我们可以借鉴 随机变量X的数学期望的求值公式

E(X) = \sum_{k = 1}^{∞}x_kp_k

这里的香农熵其实可以看做是: 信息量 $I(x)$ 的数学期望的求值公式

H(X) = \sum_{k = 1}^{n}p_klog(p_k)

这里k是类别,n代表总类别

下面我们举例说明:

数组1: 111111
数组2: 111222
数组3: 112233

我们来算数组1 ,2 和 3的香农熵

$H(1)=-1*log(p(1)) = 1 * 0= 0$

$H(2)=-1/2*log(p(1)) + (-1/2*log(p(2)) = -1/2 * In1/2 +1/2 * In1/2 ≈ 0.7$

$H(3)=-1/3*log(p(1)) + (-1/3*log(p(2)) + (-1/3*log(p(3)) ≈ 1$

这样来看数组1的香农熵为0,则为必然事件,数组2居中,数组3最大,则其概率分布的概率最小

4.交叉熵

前面我们有讲到 自信息 和 香农熵 那么如何用到机器学习和深度学习中呢,不着急慢慢往下看我们记得之前在多类别分类的模型中我们有用到 $softmax$ 进行每个类别概率估计,然后取最大概率做为预测值 而当我们反向更新 $softmax$ 为激活函数的模型或者神经网络时候,是将交叉熵做为 $loss$ 函数进行梯度调节的

那么让我们聚焦交叉熵 在这之前我们需要看下 $KL$ 散列,这是基于香农熵用来衡量对于同一个随机变量X的两个单独分布 $P(X)$ 和 $Q(X)$ 的差异的途径:

D_{kl}(P||Q) = E_{x-p}[log(P(x)/Q(x))] = E_{x-p}[log(P(x))-log(P(x))]

但是在深度学习中我们使用 $KL$ 散列的变形,也就是交叉熵来作为某些场景的 $loss$ 函数,即:

H(P,Q) = H(P) + D_{KL}(P||Q)

根据 $KL$ 散列我们队上述公式进行变形:

H(P,Q) = -E_{x-p}[logP(x)] + E_{x-p}[logP(x)] - E_{x-p}[logQ(x)]

经过变形就得到:

H(P,Q) = - E_{x-p}[logQ(x)]

接着,我们变化成易于理解的 $loss$ 函数

H(P,Q) = \sum_{x}P(x)logQ(x)

到这里我们看到了我们熟悉的成本函数, $softmax$ 回归分类器的成本函数

接着我们探讨为什么使用这个成本函数

主要是softmax等多分类器,在评估真实值( $y$ )和预测值( $y^{excpt}$ )距离时,更多的是在评估概率之间的距离,这样使用传统的均方根误差做为 $loss$ 函数毫无意义

我们来举个例子(以MNIST为例: 识别0~9的数字图片): 假设输出层是 $softmax$ 为激活函数:

那么我们假设用两组标签相同的实例 $A$ 和 $B$ 来进行分析首先我们的 $label$ 都是0,所以真实值得向量组合是(1,0,0,0,0,0,0,0,0,0)

A的预测值向量组合(0.9,0.2,0.1,0,0,0,0,0,0,0)
B的预测值向量组合(0.8,0,0.1,0,0.5,0,0,0,0,0)

接着算A和B的交叉熵(也就是 $loss$ 函数) :

H(P,Q) = -(1* log(0.9) + 0 * log(0.2) + 0 *log(0.1) + 7 * (0 * log(0)) ≈ 0.1

H(P,Q) = -(1* log(0.8) + 0 * log(0.1) + 0 *log(0.5) + 7 * (0 * log(0)) ≈ 0.2

P代表真实值
Q代表预测值因为 $0.1 < 0.2$ ,所以明显第一组要由于第二组

补充一点:交叉熵 $H(P,Q)$ 不是对称的,所以 $H(P,Q) ≠ H(Q,P)$ 所以要注意P和Q的顺序,一版情况下,P代表真实值,Q代表预测值

最近很热,大家谨防中暑,但是学习不能断 ^^

相关推荐

2年前

记一次手撕算法面试：字节跳动的面试官把我四连击了

字节跳动这家公司，应该是所有秋招的公司中，对算法最重视的一个了，每次面试基本都会让你手撕算法，今天这篇文章就记录下当时被问到的几个算法题，并且每个算法题我都详细着给出了最优解，下面再现当时的面试场景。看完一定让你有所收获大部分情况下，面试官都会问一个不怎么难的问题，不过你千万…

1.9w
299
40

1年前

可视化搭建 | 我再也不想切页面了

前端早早聊大会，前端成长的新起点，与掘金联合举办。加微信 codingdreamer 进大会专属内推群，赢在新的起跑线。本次大会主题「前端如何搞搭建」，时间 2020.3.28 全天 10:00~18:00，通过微信群通知视频直播地址。会议全程线上视频直播 + 微信群图…

1.4w
73
10

1年前

「我的名字是我爸爸用代码算出来的！」

我家的小屁屁再过不久就要出生啦！现在除了准备各种宝宝用品，我们还有一个任务就是起名。起名这件事挺难的，要好听，不落俗套，还要讲究风水，最好再有个诗经楚辞的出处。作为程序员的爸比决定自己写一个程序来生成宝宝的名字，可以根据风水和诗词生成一系列名字，在缩小选择范围的同时又可以有…

7610
71
37

「我的名字是我爸爸用代码算出来的！」

2年前

函数式编程，真香

最开始接触函数式编程的时候是在小米工作的时候，那个时候看老大以前写的代码各种 compose，然后一些 ramda 的一些工具函数，看着很吃力，然后极力吐槽函数式编程，现在回想起来，那个时候的自己真的是见识短浅，只想说,'真香'。最近在研究函数式编程，真的是在学习的过程中感觉…

2.9w
694
82

2月前

搞定softmax和交叉熵

熵相关、softmax、sigmoid函数熵 $$ H\left( X \right) =-\Sigma \left( p_i \right) \log p\left( x_i \right) $$

182
2
评论

2年前

嘿，不要给 async 函数写那么多 try/catch 了

另外可以发现并不是一个 token 对应一个 Node，等号左右必须都有值才能组成一个声明语句，否则会作出警告，这就是 eslint 的基本原理。最后所有的 Node 组合在一起就形成了 AST 语法树通过 @babel/traverse 我们能够轻松的找到 await 表达…

4.6w
1540
148

2年前

什么时候不使用箭头函数

为了保证的可读性，本文采用意译而非直译。这些年来，ES6 将 JS 的可用性提升到一个新的水平时: 箭头函数、类等等,这些都很棒。箭头函数是最有价值的新功能之一，有很多好文章描述了它的上下文透明性和简短的语法。但每个事务都有两面。通常，新特性会带来一些混乱，其中之一就是箭…

1.9w
234
28

3年前

几位 AI 工程师，开源了自己的撩妹项目

如果你们还觉得工程师在撩妹上没有天赋的话，那你就大错特错了。就在不久前 Facebook 的几个程序员最近也弄出一款音乐神器，可以把一首曲子，用 6 种不同的乐器演奏出来。然后 Google 的技术大拿们也不甘示弱，用 AI 搞出了一个音乐合成器正式加入专业撩妹俱乐部。大家…

5913
62
10

1月前

机器学习基础知识—信息量和信息熵

今天我们了解什么是信息量，又介绍什么是信息熵。**信息量**度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所

330
8
评论

机器学习基础知识—信息量和信息熵

3年前

各大公司的技术博客合集

无论是 Google 还是 facebook 还是 Netflix 还是 Amazon 统统拿下

8014
86
4

4月前

感谢 compose 函数，让我的代码屎山💩逐渐美丽了起来~

曾经有一段优美的代码放在我面前，我没有珍惜。直到现在每天面对代码屎山手足无措时，才追悔莫及！尘世间最大的痛苦莫过于此，如果上天给我再来一次的机会，我一定对这段代码说三个字 —— 六，六，六！！！

4.0w
825
161

感谢 compose 函数，让我的代码屎山💩逐渐美丽了起来~

1年前

字节跳动面试官：请你实现一个大文件上传和断点续传

这段时间面试官都挺忙的，频频出现在博客文章标题，虽然我不是特别想蹭热度，但是实在想不到好的标题了-。-，蹭蹭就蹭蹭 :)

18.4w
4621
489

3年前

推荐一个由 AI 生成 LOGO 的网站

在创建项目时，有时需要根据一些文案，设计LOGO，既要美观大方，又要突出主题。当然，朋友较多的人，去找做UI设计的朋友来帮忙，像我这样的“孤独患者”，就只能寻求AI的帮助了... 第一步，输入品牌名称（Brand Name）和标语（Tagline），如“美图视觉技术部”和“M…

8242
135
12

1年前

每天一个知识点（五）两个对象的 hashCode()相同，则 equals()也一定为 true吗？

首先我们来了解一下hashCode()方法是干什么的，hashCode的存在主要是用于查找的快捷，比如我们常用的HashMap等集合，hashCode用来在散列的存储结构中确定对象的存储地址。 java中所有的对象都有一个父类Object，而Object有一个hashCode方…

273
2
评论

1月前

解决交叉熵损失不收敛的问题

最近在训练一个分类类网络的时候，发现损失不收敛，网络的各个部分没有问题，输入输出都是正常的情况，但就是网络的损失不收敛，最开始的交叉熵损失在6左右，一直到50个epoch以后，损失依然是5左右

128
点赞
评论

1年前

为什么 Vue 中不要用 index 作为 key？（diff 算法详解）

Vue 中的 key 是用来做什么的？为什么不推荐使用 index 作为 key？常常听说这样的问题，本篇文章带你从原理来一探究竟。本文的结论对于性能的毁灭是针对列表子元素顺序被改变、或者子元素被删除的特殊情况，提前说明清楚。那么它的 vnode 也就是虚拟 dom 节点大…

4.3w
895
172

2年前

NLP极简入门指南，助你通过面试，踏入NLP的大门

弱人工智能的时代已经到来，人们每天的生活都离不开算法所提供的服务。比如：资讯类APP是根据用户偏好做的个性化推荐；出行类APP背后是算法在做最优化调度；购物类APP是根据历史购买行为和商品间相似度进行推荐。这样的例子还有很多很多，就不一一列举了。可见算法对于一家互联网公司有多…

7247
117
7

3年前

从15000个Python开源项目中精选的Top30，Github平均star为3707，赶紧收藏！

继推出2017年机器学习开源项目Top 30榜单后，Mybridge AI又推出了一个Python开源项目Top 30榜单，包括开源Python库、工具等。该榜单基于项目质量、用户参与度以及其他几个方面进行了评估，从大约15000个开源项目中挑选了Top 30，差不多都是在20…

1.2w
301
2

从15000个Python开源项目中精选的Top30，Github平均star为3707，赶紧收藏！

3年前

LightGBM，XGBoost被面试官刁难了？内有含泪面试经验

LightGBM，XGBoost作为非常经典的GBDT模型，网上原理和实战代码都一大堆。但是看了几个公式，写了几行代码。是不是总觉得心里空空的。直到有一次被面试官问道。给你一堆数据，让你用GBDT模型去处理。这些数据在模型内部是如何运行的呢，最终答案如何得到的呢？虽然现场可以结…

7825
31
6

LightGBM，XGBoost被面试官刁难了？内有含泪面试经验

3年前

高阶函数，你怎么那么漂亮呢！

亲们，函数作为返回值输出的应用场景那就太多了，这也体现了函数式编程的思想。其实从闭包的例子中我们就已经看到了关于高阶函数的相关内容了，哈哈还记得在我们去判断数据类型的时候，我们都是通过Object.prototype.toString来计算的。每个数据类型之间只是'[obje…

2.7w
926
74