李rumorr

自然语言处理算法工程师，之前自己跳槽面试的时候整理了一波资料，汇总了数学基础、leetcode高频题、机器学习、深度学习等常见知识考点，后来拿到了阿里/美团/百度/快手/搜...

分享一下我的学习路径，正常的理工科大学生大概三四个月可以入门（学过C语言、线性代数、概率论），独立解决NLP问题，搭建baseline并适当优化效果。 机器学习是一门既重理...

对于初学者来说，最系统的入门方法就是买一本好书。相比网络上的内容，书籍是反复审核修改过的，条理上也更加清晰，可以帮大家建立起更完备的知识体系。 今天rumor就从理论和实践...

我是一个特别纠结的人。 买不买？吃不吃？去不去？这种问题通常会占用我大部分时间。 不知道怎么选，所以采用排除法，踩一个是一个。 算上实习，我在央企打过杂、在药厂当过基层工人...

众所周知，无论在CV还是NLP中，深度模型都离不开归一化技术（Normalization）。在CV中，深度网络中一般会嵌入批归一化（BatchNorm，BN）单元，比如Re...

1. 简介 右边的图是左边的放大版，纵轴是GLUE分数，横轴是FLOPs (floating point operations)，Tensorflow中提供的浮点数计算量统...

NLP的数据增强一直是个难题，本来数据的标注成本就高一些，还不好添添补补，比如情感分类，把“不高兴”的“不”字去掉了，整句话的意思就变了。相比之下，图像不仅可以翻转、平移、...

这次的T5模型虽然名字和BERT+系列不一样，但底子里还是差不多的。给我的感觉就是大型Seq2Seq的BERT+干净的数据+多任务+一些改动。论文的作者深入对比了不同的预训...

可见Word2Vec的词向量还是存储了不少东西，但如果teacher是指马老师呢？所以我们需要用BERT，在不同的语境下进行编码（一字多义），马老师就离rich近一些，李老...

前几天看没事看了眼GLUE榜单就发现了ALBERT这个模型，去arxiv搜了下没搜到，还在想什么时候放出来，没想到在Openreview上。。 Google一出手就是不一样...

之前介绍过了神经网络分布式训练，没怎么研究混合精度，以为就是都转成FP16就好了，最近才发现还是有些东西的，所以看了下百度和英伟达合作的MIXED PRECISION TR...

最近看fastertransformer源码，接触了很多底层到东西，cuda源码各种看不懂，就去学cuda，学了一会儿觉得就想放弃，结果翻回去看源码还是不懂，反复几次，最后...

最近拜读了NVIDIA前阵子开源的fastertransformer，对CUDA编程不是很熟悉，但总算是啃下来一些，带大家读一下硬核源码。 1. 简介 2. 硬核源码解读 ...

最近又被一周一更的flag打脸，一是拉来了外援助阵专栏（以后会越来越多的！），二是自己想探索新的故事线（比如NLP+CV的任务），三是工作太忙（懒）。 1. 简介 重写Ke...

越来越觉得基础太重要了，要成为一个合格的算法工程师而不是调包侠，一定要知道各个基础模型的HOW&WHY，毕竟那些模型都是当年的SOTA，他们的思想也对之后的NLP模型影响很...

过去一直follow着transformer系列模型的进展，从BERT到GPT2再到XLNet。然而随着模型体积增大，线上性能也越来越差，所以决定开一条新线，开始follo...

1. 概述 2. 精读 target_mapping：因为理论上把token都permute了，所以可能先预测4再预测2，所以在预测i=0（第一个4）时要把实际的位置4给m...

1. 背景 2018年10月的时候，谷歌放出了称霸GLUE榜单的BERT模型，当时BERT最大的创新就是提出了Masked Language Model作为预训练任务，解决...

研究了半天分布式，简要总结出来分享一下，具体细节请看下面的参考资料。主要的参考资料是： 1. 分布式训练策略 模型并行：用于模型过大的情况，需要把模型的不同层放在不同节点o...

上周讲了一个MASS模型，我觉得挺好的，参考BERT提出了新的Seq2Seq任务的预训练方法，今天要讲的是另一个BERT-based生成模型-UNILM，也是微软出的。 U...