董董灿是个攻城狮

前面介绍了学习 Transformer 需要的预备基础知识，在介绍完基础知识后，又介绍了一些国内外比较优秀的大模型的使用方法，并且重点对 chatGLM 和 LLaMa 这两个模型，使用 Pytho

将文字文本转换为词向量(word embedding）的过程中，一个非常著名的算法模型应该就是 Word2Vec 了。 相信大家或多或少都听说过，本节就来简单介绍一下 Word2Vec 。 # 什

经过前面的介绍，相信你搞懂了词嵌入向量所代表的是单词在高维空间的特征表示了。 在学习词嵌入向量的过程中，一个最著名的理解词嵌入向量在高维数学空间的例子，莫过于实现 queen = king - M

在前面的文章中，大概花费了几节的篇幅，详细介绍了 token 以及词嵌入向量的概念。到这里，你应该可以理解了：在计算机的眼里，所有的文本首先都要经过分词转换为 token ，然后再使用词嵌入算法将

上一节已经完成了 token 到词向量的转换。那么，使用转换后的词嵌入向量便可以表示 token 之间的语义了吗？便可以表示两个单词是否是近义词，是否是反义词了吗？ 是的。 接下来先通过一个例

上一节通过词汇表将 token 文本转换为数值，也就是转换为 token ID ，这之后计算机便可以进行下一步的操作了。 但是这里我抛出一个问题：计算机在进行运算时，可以基于 token ID 进

前面几节一直在介绍 token 相关的内容，相信你看到这里，对 token 肯定很了解了吧。如果对 token 本身还有其他疑问，可以在本文下留言。 本节开始，进入下一步骤，由 token 到数值

预训练大模型在训练过程中，虽然学到了很多通用知识，但是很多时候，大模型本身并不能在专业领域表现得非常好。 比如你让 Qwen 模型回答“量子力学中的叠加态是什么”，它可能会给出一个笼统的解释，但要是让

在前面几节，你了解了 token 的概念以及对文本进行分词的大致过程后。 本节给出一个使用 GPT4 模型（当前 OpenAI 最强大的模型）拆分 token 并将拆分结果进行可视化的网站，你可以