使用Pytroch实现Transformer代码的编写，并且进行英文翻译中文的操作，全程中文详细注释。

概述 BERT是一个双向transformer编码器的言表示模型。来自论文：BERT: Pre-training of Deep Bidirectional Transformers for Lang

对模型进行微调与保存 微调（Fine-tuning）是一种迁移学习技术，通过在预训练模型的基础上进行少量训练，使模型适应新任务或新数据集。 在本节中，我们将介绍如何进行微调和复用。

本项目给出本次法研杯详细的技术方案，从UIE-base开始到UIE数据蒸馏以及主动学习的建议，欢迎大家尝试，ps：主动学习标注需要自行实现，参考项目，楼主就不标注了。 项目链接：https://ais

这个系列我们来聊聊序列标注中的中文实体识别问题，第一章从基准模型Bert+Bilstm+CRF说起，看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本，详见ChineseNER

关于CRF，很多博文都写的很好，不过本人认为，理解CRF，数学与概念都要重视，才能见效。希望这篇肤浅的文章能够帮助像我一样刚入门的NLPer扫去一些疑惑。

Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，提到的BERT模型刷新了自然语言处理的11项记录。最近在做NLP中问答相关的内容，抽空写了篇论文详细解…

文本相似度（匹配）计算，提供Baseline、训练、推理、指标分析...代码包含TensorFlow/Pytorch双版本，特别适合新手上手！

论文简介：还应在遮蔽语言模型中使用 15% 的遮蔽概率吗？ 论文标题：Should You Mask 15% in Masked Language Modeling? 论文链接：https://arx