李rumorr

自然语言处理算法工程师，之前自己跳槽面试的时候整理了一波资料，汇总了数学基础、leetcode高频题、机器学习、深度学习等常见知识考点，后来拿到了阿里/美团/百度/快手/搜狗以及一些小厂的offer，

分享一下我的学习路径，正常的理工科大学生大概三四个月可以入门（学过C语言、线性代数、概率论），独立解决NLP问题，搭建baseline并适当优化效果。 机器学习是一门既重理论又重实践的学科，想一口吃下这个老虎是不可能的，因此学习应该是个循环且逐渐细化的过程。 迈过了上面这道坎后…

对于初学者来说，最系统的入门方法就是买一本好书。相比网络上的内容，书籍是反复审核修改过的，条理上也更加清晰，可以帮大家建立起更完备的知识体系。 今天rumor就从理论和实践两方面梳理一个中文NLP入门书单，帮大家快速入门。趁着新年的折扣季可以买起来了，薄的垫垫茶壶，保护桌子，厚…

我是一个特别纠结的人。 买不买？吃不吃？去不去？这种问题通常会占用我大部分时间。 不知道怎么选，所以采用排除法，踩一个是一个。 算上实习，我在央企打过杂、在药厂当过基层工人、在游戏公司当过策划、在国外研究所做过研究、在外企写过JAVA、在金融IT公司写过量化、在创业公司做过算法…

自从BERT问世以来，大多数NLP任务的效果都有了一次质的飞跃。BERT Large在GLUE test上甚至提升了7个点之多。但BERT同时也开启了模型的“做大做深”之路，普通玩家根本训不起，高端玩家虽然训得起但也不一定用得起。 所以BERT之后的发展也比较清晰，一部分壕大佬…

众所周知，无论在CV还是NLP中，深度模型都离不开归一化技术（Normalization）。在CV中，深度网络中一般会嵌入批归一化（BatchNorm，BN）单元，比如ResNet；而NLP中，则往往向深度网络中插入层归一化（LayerNorm，LN）单元，比如Transfor…

1. 简介 右边的图是左边的放大版，纵轴是GLUE分数，横轴是FLOPs (floating point operations)，Tensorflow中提供的浮点数计算量统计。从上图可以看到，同等量级的ELECTRA是一直碾压BERT的，而且在训练更长的步数之后，达到了当时的S…

NLP的数据增强一直是个难题，本来数据的标注成本就高一些，还不好添添补补，比如情感分类，把“不高兴”的“不”字去掉了，整句话的意思就变了。相比之下，图像不仅可以翻转、平移、加噪，还有高级的GAN，不知道NLP什么时候也能gan一把。 今天分享一个很简单的、基于马尔可夫链的生成式…

这次的T5模型虽然名字和BERT+系列不一样，但底子里还是差不多的。给我的感觉就是大型Seq2Seq的BERT+干净的数据+多任务+一些改动。论文的作者深入对比了不同的预训练目标、模型结构、无监督数据集、迁移方法、NLU任务，最终拼成了T5。文章除去reference一共34页…