董董灿是个攻城狮

将文字文本转换为词向量(word embedding）的过程中，一个非常著名的算法模型应该就是 Word2Vec 了。 相信大家或多或少都听说过，本节就来简单介绍一下 Wo...

经过前面的介绍，相信你搞懂了词嵌入向量所代表的是单词在高维空间的特征表示了。 在学习词嵌入向量的过程中，一个最著名的理解词嵌入向量在高维数学空间的例子，莫过于实现 quee...

在前面的文章中，大概花费了几节的篇幅，详细介绍了 token 以及词嵌入向量的概念。到这里，你应该可以理解了：在计算机的眼里，所有的文本首先都要经过分词转换为 token ...

上一节已经完成了 token 到词向量的转换。那么，使用转换后的词嵌入向量便可以表示 token 之间的语义了吗？便可以表示两个单词是否是近义词，是否是反义词了吗？ 是的...

上一节通过词汇表将 token 文本转换为数值，也就是转换为 token ID ，这之后计算机便可以进行下一步的操作了。 但是这里我抛出一个问题：计算机在进行运算时，可以基...

前面几节一直在介绍 token 相关的内容，相信你看到这里，对 token 肯定很了解了吧。如果对 token 本身还有其他疑问，可以在本文下留言。 本节开始，进入下一步骤...

预训练大模型在训练过程中，虽然学到了很多通用知识，但是很多时候，大模型本身并不能在专业领域表现得非常好。 比如你让 Qwen 模型回答“量子力学中的叠加态是什么”，它可能会...

在前面几节，你了解了 token 的概念以及对文本进行分词的大致过程后。 本节给出一个使用 GPT4 模型（当前 OpenAI 最强大的模型）拆分 token 并将拆分结果...

前面两节分别通过两个代码示例展示了模型将文本转换为 token 之后是什么样的，希望你可以对此有一个感性的认识。 本节来简要介绍一下将一个连续的文本转换为 token 序列...

在上一节，利用 BERT 模型将一个文本进行了 token 化。那你可能会问，是不是所有的模型将同一个文本 token 化之后，结果都一样呢？ 当然不是。 这是因为不同的模...

在上一节，我们介绍了 token 的概念。 你可以这么认为， token 是自然语言处理场景（如文本生成、AI聊天）下，AI 模型能够处理的最小单位。 在计算机视觉中，模型...

在[这篇文章](https://mp.weixin.qq.com/s?__biz=MzAwOTc2NDU3OQ==&mid=2649043192&idx=1&sn=edb9...

如果你对深度学习有所了解，知道神经网络可以识别图片，但还没自己动手训练过模型，这篇文章会非常适合你。 这篇文章将使用 PyTorch 和 ResNet50，基于 Oxfor...

可以说，学习自然语言处理、大模型、Transformer 任何一个技术，都离不开 token这个概念。 本专栏就从这个最基础的概念开始讲起。 多年前，第一次接触到自然语言处...

## 1. Claude 3.7 Sonnet 有何特别之处？ Claude 3.7 Sonnet 是 Anthropic 最新发布的 AI 模型，发布过程中，最突出最吸...

DeepSeek 最近火爆全球，互联网上出现了大量关于 DeepSeek 使用和部署指南的文章。 比如我昨天就写了一篇：DeepSeek 本地部署，体验丝滑浏览器对话！。 ...

## 1. AI 推理能力仍有待突破的领域 技术报告在最后还提到了一些未来的展望。 尽管 DeepSeek-R1 通过强化学习、多阶段训练、知识蒸馏等方法已经在推理任务上取...

## 1. 强化学习并非万能工具 强化学习（Reinforcement Learning, RL）在 DeepSeek-R1 的推理能力提升方面起到了重要作用，使 AI 能...

## 1. 什么是 AI 的“aha 时刻”？ 在强化学习过程中，AI 的推理能力并不是线性增长的，而是会经历一些关键的“顿悟”时刻，研究人员将其称为**“aha 时刻”*...