首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
算法原理
订阅
算法原理收集
你好啊大肥洋
更多收藏集
微信扫码分享
微信
新浪微博
QQ
2篇文章 · 0订阅
AI精炼术:利用PyTorch实现MNIST数据集上的知识蒸馏
上期介绍了知识蒸馏的核心原理,一句话概括——将教师模型的知识通过soft targets传递给学生模型。今天就来实战一下,看看教师模型、学生模型是怎样用代码构建的,学习如何用知识蒸馏提高学生模型的性能
简单的交叉熵损失函数,你真的懂了吗?
我们已经对这个交叉熵函数非常熟悉,大多数情况下都是直接拿来使用就好。但是它是怎么来的?为什么它能表征真实样本标签和预测概率之间的差值?上面的交叉熵函数是否有其它变种?也许很多朋友还不是很清楚!没关系,接下来我将尽可能以最通俗的语言回答上面这几个问题。 1. 交叉熵损失函数的数学…