从规则到LLM:语言模型演进全梳理

0 阅读7分钟

从规则到LLM:语言模型演进全梳理

摘要:大语言模型不是凭空诞生的。本文沿着发展脉络,依次回顾基于规则的语言系统、统计语言模型、神经网络语言模型、预训练语言模型,最后落到现代大语言模型,理清几代方案的核心思路、优缺点与承前启后的关系,适合入门学习。

一、大语言模型的背景

自然语言处理(NLP)的目标,是让计算机理解、处理和生成人类语言。语言模型(Language Model)是NLP里最基础、最核心的模块,它的本质任务:给定一段上文,估算下一个词出现的概率,或者计算一整句话在自然语言里的合理程度。

几十年间,语言模型走过了清晰的迭代路线:人工编写规则 → 统计频次建模 → 分布式词表示+神经网络 → 预训练+微调范式 → 超大参数Transformer大模型。今天我们熟知的ChatGPT等大语言模型,是这条技术路线长期积累后的产物。

早期NLP任务(分词、翻译、问答)都需要单独开发一套方案;而大语言模型凭借通用的语言能力,做到了一个模型适配对话、摘要、代码、推理等大量任务,彻底改变了NLP的研发范式。

二、基于规则的模型

基于规则的方案是最早的自然语言处理思路,盛行于上世纪60–80年代,代表系统如ELIZA。

核心思路:由语言学专家人工编写大量语法、词法、匹配规则。程序依靠正则、语法树、转换规则去匹配输入文本,按照预设规则做解析或者回复。比如写规则:匹配到“我难过”,就固定输出安慰语句。

✅ 优点:逻辑透明、可解释,在限定场景下可控,不需要大量语料训练。 ❌ 缺点:

  1. 极度依赖人工,规则写不完;自然语言歧义、口语变体太多;
  2. 泛化能力极差,一旦句子写法超出规则库就直接失效;
  3. 无法自主学习,没有从数据里自动归纳语言规律的能力。

一句话概括:规则系统是“人把语言知识教给机器”,机器只会按剧本执行。

三、基于统计的语言模型

90年代之后,随着语料库规模增长,统计语言模型成为主流,最典型就是 n-gram 模型。

核心思路:不再人工定义语法,而是从海量文本里统计词语共现频率,用马尔可夫假设简化问题:下一个词的出现概率,只依赖前面少数 n-1 个词。比如 2-gram(二元)只看前1个词,3-gram看前2个词,统计 P(w_i|w_{i-2},w_{i-1}) 来计算句子概率。

为了解决很多词组合在语料里没出现(概率为0)的问题,学术界提出平滑、回退等手段做补偿。

✅ 优点:不需要语言学专家编写海量规则,从真实语料自动统计,工程简单、可解释;在语音识别、机器翻译早期发挥巨大价值。 ❌ 缺点:

  1. 维度灾难:词表越大,词组合数量爆炸,稀疏问题严重;
  2. 只能捕捉很短的局部上下文,无法理解长距离依赖;
  3. 没有语义概念,单纯统计频次,不理解词语含义;“苹果(水果)”和“苹果(公司)”是两个独立词条,无法共享语义。

一句话概括:统计模型是机器背语料里的搭配频率,见过的组合才会,没见过就很难处理。

四、神经网络语言模型(NNLM)

2003年Bengio提出NNLM,是一个里程碑式的转变,把神经网络引入语言建模,开启了神经NLP时代。

核心思路: 不再直接统计词的共现概率。先把离散单词映射成低维、稠密的向量(词向量/分布式表示),语义相近的词向量在空间上距离更近;再用神经网络去学习上下文到下一个词的概率映射。后续Word2Vec、RNN/LSTM语言模型都是沿着这个思路发展。

✅ 优点:

  1. 分布式词向量天然自带语义,缓解稀疏问题;
  2. 神经网络具备拟合能力,可以建模上下文信息;RNN/LSTM进一步尝试捕捉更长序列依赖; ❌ 缺点:
  3. 早期算力不足,训练成本高;
  4. RNN串行计算,无法并行,长序列依然容易遗忘(梯度消失);
  5. 模型大多是任务相关的,一个模型主要服务一个任务,迁移能力弱。

一句话概括:神经网络语言模型,让机器第一次拥有了“语义表示”,不再只是统计字符串。

五、预训练语言模型

预训练语言模型(Pre-trained Language Model, PLM)在2018年迎来爆发,ELMo、GPT-1、BERT是标志性工作,确立了预训练 + 下游微调这个沿用至今的范式。

核心思路: 第一步(预训练):在海量无标注通用文本上,用自监督任务训练基础模型,学习通用语言规律、语法、常识、上下文语义。训练目标不是为了某一个具体任务(分类、抽取),而是学习语言本身。 第二步(微调):拿到预训练好的权重,只用少量标注数据,在下游任务上微调,就能得到很好效果。

这里分成两条经典路线:

  • ELMo:双向LSTM,上下文相关词向量,同一个词在不同句子里向量不一样,解决一词多义;
  • BERT:Encoder-only Transformer,掩码语言模型MLM,双向同时看左右上下文,擅长语言理解类任务(分类、NER);
  • GPT:Decoder-only Transformer,自回归从左向右预测下一个token,擅长生成任务。

Transformer的自注意力机制是关键突破:它可以直接建模序列任意两个位置之间的依赖,并且支持大规模并行训练,解决RNN串行短板,为后续模型做大奠定基础。

✅ 优点:通用能力强,一次预训练,多任务复用;大幅降低下游任务标注成本;语义理解能力远超过之前模型。 ❌ 局限:早期预训练模型参数量有限,缺少强推理能力;BERT、早期GPT还没有涌现出对话、复杂推理能力。

一句话概括:预训练范式,让机器先在海量文本里自学通用语言,再低成本适配各类任务。

六、大语言模型(LLM)

大语言模型,是以Transformer Decoder架构为主、参数量达到百亿/千亿级别、在超大规模语料上完成预训练,并经过指令微调、对齐优化的预训练语言模型。GPT系列、LLaMA、Qwen等都属于LLM。

核心特点:

  1. 规模效应:参数量、数据量、算力提升到一定阈值后,出现涌现能力:零样本、少样本推理、链式思考、工具调用等小模型不具备的能力;
  2. 自回归生成:延续GPT思路,逐个预测下一个token,天然适合对话、续写、代码生成;
  3. 对齐技术:通过SFT、RLHF等方式,让模型输出符合人类偏好、指令意图;
  4. 通用接口:不再针对每个NLP任务单独设计模型和头,用户用自然语言指令就可以驱动模型完成任务。

✅ 价值:打破了传统NLP任务割裂的局面,实现通用人机交互,催生智能助手、Agent等新方向。 ⚠️ 局限:存在幻觉、上下文上限、推理不可控、训练成本高昂等问题。

一句话概括:大语言模型,是预训练思想在超大算力和数据下放大后的产物,拥有了接近通用对话与复杂任务处理能力。

七、总结

整条演进链条可以简单归纳:

手工规则(人定义语言)→ n-gram统计(统计词搭配)→ NNLM/RNN(学习语义向量)→ 预训练模型(预训练+微调范式,Transformer)→ LLM(超大模型+涌现+对齐)

每一代方案,都在解决上一代的核心痛点:规则泛化差 → 统计模型无语义、稀疏 → RNN难并行、长依赖弱 → 早期预训练模型能力有限。理解这条路线,才能看懂现在大模型各种设计取舍,而不是只停留在“会聊天”的表层印象。