NLP
4篇文章 · 0订阅
  • Bert PyTorch 源码分析：一、嵌入层
    ```py # 标记嵌入就是最普通的嵌入层 # 接受单词ID输出单词向量 # 直接转发给了`nn.Embedding` class TokenEmbedding(nn.Embedding): def
    PyTorch
  • Transformer 模型详解
    Transformer 是 Google 的团队在 2017 年提出的一种 Self-Attention 模型，现在比较火热的 Bert 也是基于 Transformer。
    NLP
    Transformer 模型详解
  • XLNet 详解
    XLNet 采用了 PLM (Permutation Language Model) ，将句子随机排列，然后用自回归的方法训练，从而获得双向信息并且可以学习 token 之间的依赖关系。
    NLP 人工智能
    XLNet 详解
  • 【NLP】BERT中文实战踩坑
    终于用上了bert，踩了一些坑，和大家分享一下。 我主要参考了奇点机智的文章，用bert做了两个中文任务：文本分类和相似度计算。这两个任务都是直接用封装好的run_classifer,py，另外两个没有仔细看，用到了再补充。 1. DataProcessor 2. Early …