章鱼小丸子v

最两年随着人工智能的大火，越来越多的朋友想往往这个领域发展。人工智能这波热潮不同于早几年云计算和移动互联网不同，人工智能技术起点较高需要精深的专业知识，学习曲线过于陡峭，快速学习比较困难。同时，随着这波热潮，很多非本专业的人才也想深入了解这个领域，一探究竟它到底在讲什么。百度出…

从应用落地的角度来说，bert虽然效果好，但有一个短板就是预训练模型太大，预测时间在平均在300ms以上（一条数据），无法满足业务需求。知识蒸馏是在较低成本下有效提升预测速度的方法。最近在看知识蒸馏方面的内容，对《DistillBert》做个简单的介绍。 Bert后，语义表示的…

今年四月份做了关于elmo复现和微调方面的工作。近期在内部和凤巢做了两次关于elmo的分享，感觉大家对这个模型较为陌生，发现其中有些细节和经验值得拿出来说一说，希望对你会有所帮助。 ELMo全称Embeddings from Language Models，是2018年alle…

这篇文章讲讲谷歌大脑团队和 CMU 联合推出的 QANet模型，QAnet是SQUAD排行榜2018年3月份排名第一的模型。既然有Bert，为什么还要讲QAnet？因为QAnet融合了2017年~2018年NLP领域一些重要的突破（各种炫酷技巧），通过学习它，你可以对NLP近两…

最近在内部技术分享会上发现大家对Bert实践中的问题比较感兴趣，疑问点主要集中在，Bert机器资源代价昂贵，如何用较小成本（金钱和时间）把Bert跑起来？因此，希望这篇文章能帮助你在实践Bert的过程中少走一些弯路。 整个文章结构分成四部分。 第四部分总结性能和效果，给出实践B…