董董灿是个攻城狮

大家好啊，我是董董灿。 昨天 DeepSeek 发布了一篇文章，介绍 DeepSeek AI 大模型的基本原理和训练相关的知识。 文章的内容写的比较通俗易懂，比较适合想“粗...

大家好啊，我是董董灿。 前段时间在星球弄了个“微调”的小专栏。但是因为一些事情耽误了，整体进度已经过半了，最近时间又充裕了，打算把微调的专栏再丰富完善，把这件事情搞完！ 本...

在基于 Transformer 架构的 AI 大模型中，注意力机制早已成为了必不可少的核心组件。 但是传统注意力机制在处理长序列数据时存在很多问题。 典型的就是计算复杂度过...

星球上一位球友提问——日常开发和使用 LLMs 的电脑配置是什么？如果想运行多个大模型，应该如何选配电脑的配置呢？ 我相信很多刚开始学习 AI 大模型的朋友都会有类似的困惑...

前面介绍了学习 Transformer 需要的预备基础知识，在介绍完基础知识后，又介绍了一些国内外比较优秀的大模型的使用方法，并且重点对 chatGLM 和 LLaMa 这...

将文字文本转换为词向量(word embedding）的过程中，一个非常著名的算法模型应该就是 Word2Vec 了。 相信大家或多或少都听说过，本节就来简单介绍一下 Wo...

经过前面的介绍，相信你搞懂了词嵌入向量所代表的是单词在高维空间的特征表示了。 在学习词嵌入向量的过程中，一个最著名的理解词嵌入向量在高维数学空间的例子，莫过于实现 quee...

在前面的文章中，大概花费了几节的篇幅，详细介绍了 token 以及词嵌入向量的概念。到这里，你应该可以理解了：在计算机的眼里，所有的文本首先都要经过分词转换为 token ...

上一节已经完成了 token 到词向量的转换。那么，使用转换后的词嵌入向量便可以表示 token 之间的语义了吗？便可以表示两个单词是否是近义词，是否是反义词了吗？ 是的...

上一节通过词汇表将 token 文本转换为数值，也就是转换为 token ID ，这之后计算机便可以进行下一步的操作了。 但是这里我抛出一个问题：计算机在进行运算时，可以基...

前面几节一直在介绍 token 相关的内容，相信你看到这里，对 token 肯定很了解了吧。如果对 token 本身还有其他疑问，可以在本文下留言。 本节开始，进入下一步骤...

预训练大模型在训练过程中，虽然学到了很多通用知识，但是很多时候，大模型本身并不能在专业领域表现得非常好。 比如你让 Qwen 模型回答“量子力学中的叠加态是什么”，它可能会...

在前面几节，你了解了 token 的概念以及对文本进行分词的大致过程后。 本节给出一个使用 GPT4 模型（当前 OpenAI 最强大的模型）拆分 token 并将拆分结果...

前面两节分别通过两个代码示例展示了模型将文本转换为 token 之后是什么样的，希望你可以对此有一个感性的认识。 本节来简要介绍一下将一个连续的文本转换为 token 序列...

在上一节，利用 BERT 模型将一个文本进行了 token 化。那你可能会问，是不是所有的模型将同一个文本 token 化之后，结果都一样呢？ 当然不是。 这是因为不同的模...

在上一节，我们介绍了 token 的概念。 你可以这么认为， token 是自然语言处理场景（如文本生成、AI聊天）下，AI 模型能够处理的最小单位。 在计算机视觉中，模型...

在[这篇文章](https://mp.weixin.qq.com/s?__biz=MzAwOTc2NDU3OQ==&mid=2649043192&idx=1&sn=edb9...

如果你对深度学习有所了解，知道神经网络可以识别图片，但还没自己动手训练过模型，这篇文章会非常适合你。 这篇文章将使用 PyTorch 和 ResNet50，基于 Oxfor...

可以说，学习自然语言处理、大模型、Transformer 任何一个技术，都离不开 token这个概念。 本专栏就从这个最基础的概念开始讲起。 多年前，第一次接触到自然语言处...