董董灿是个攻城狮

前面几节一直在介绍 token 相关的内容，相信你看到这里，对 token 肯定很了解了吧。如果对 token 本身还有其他疑问，可以在本文下留言。 本节开始，进入下一步骤，由 token 到数值

预训练大模型在训练过程中，虽然学到了很多通用知识，但是很多时候，大模型本身并不能在专业领域表现得非常好。 比如你让 Qwen 模型回答“量子力学中的叠加态是什么”，它可能会给出一个笼统的解释，但要是让

在前面几节，你了解了 token 的概念以及对文本进行分词的大致过程后。 本节给出一个使用 GPT4 模型（当前 OpenAI 最强大的模型）拆分 token 并将拆分结果进行可视化的网站，你可以

前面两节分别通过两个代码示例展示了模型将文本转换为 token 之后是什么样的，希望你可以对此有一个感性的认识。 本节来简要介绍一下将一个连续的文本转换为 token 序列的大致过程，这个过程被称

在上一节，利用 BERT 模型将一个文本进行了 token 化。那你可能会问，是不是所有的模型将同一个文本 token 化之后，结果都一样呢？ 当然不是。 这是因为不同的模型对文本进行 tok

在上一节，我们介绍了 token 的概念。 你可以这么认为， token 是自然语言处理场景（如文本生成、AI聊天）下，AI 模型能够处理的最小单位。 在计算机视觉中，模型以像素为单位来处理图

在[这篇文章](https://mp.weixin.qq.com/s?__biz=MzAwOTc2NDU3OQ==&mid=2649043192&idx=1&sn=edb9e6a364c37e5bf

如果你对深度学习有所了解，知道神经网络可以识别图片，但还没自己动手训练过模型，这篇文章会非常适合你。 这篇文章将使用 PyTorch 和 ResNet50，基于 Oxford-IIIT Pet 数

可以说，学习自然语言处理、大模型、Transformer 任何一个技术，都离不开 token这个概念。 本专栏就从这个最基础的概念开始讲起。 多年前，第一次接触到自然语言处理模型 BERT