moka11moka

中国社会主义泥瓦匠

赞

4

|

搜索文章

赞

文章( 4 ) 沸点( 0 )

标准的Attention到稀疏Attention

简介依旧借鉴苏神的博客【为节约而生：从标准Attention到稀疏Attention】进行复述和整合，基本都是苏神内容，但打字是我打的。

moka11moka
3年前
2.9k
2
评论

知识蒸馏中的温度参数（1）

知识蒸馏：一种“教师 -> 学生”的模型压缩方法。使得学生模型在表现的足够好的前提下，还能够大大提升推理速度，减少内存占用，便于线上部署。

moka11moka
3年前
1.1k
1
评论

知识蒸馏中的温度参数（2）

1、温度常数简介由上一篇我所写知识蒸馏中的温度参数(1)中我介绍了知识蒸馏以及具体的损失函数的表达式。其中损失函数中：其中Lsoft中就涉及到了常数T，而T有应该设置为多少会比较合适呢？它与模

moka11moka
3年前
3.5k
1
评论

字标注与HMM模型

简介以下文章基本借鉴于苏神的【字标注法与HMM模型】，如有兴趣可以参考原文。本人纯为加深理解，所以在此复述一遍。字标注法字标注法是通过给每个字打上一个标签来进行分词，比如比较典型的就是4字分词，

moka11moka
3年前
252
1
评论

个人成就

文章被点赞 5

文章被阅读 8,243

加入于

2022-05-28