NLP-让机器理解人类语言的数学魔法

黑唐僧
34 阅读7分钟

Word Embedding：让机器理解人类语言的数学魔法

前言：从符号到语义的跨越

在自然语言处理(NLP)的世界里，有一个核心挑战困扰了研究者们数十年：计算机如何才能真正"理解"文字的含义？对于人类来说，我们能够轻松地理解"国王"与"王后"之间存在某种关联，"寒冷"与"冬天"之间有着语义上的联系。但对于计算机而言，文字最初只是毫无关联的符号。

想象一下，如果我们要教计算机理解"我喜欢苹果手机"和"我热爱iPhone"表达的是相似的意思，传统的基于符号的方法会将"苹果"和"iPhone"视为完全无关的两个实体。这就像是给计算机一本用密码写成的字典，每个词都是孤立的条目，没有相互之间的联系。而Word Embedding技术的出现，就像是给这本密码字典加上了语义地图，让计算机可以理解词汇间的内在联系。

背景：传统方法的局限性

在Word Embedding技术诞生之前，自然语言处理主要依赖于稀疏表示方法，其中最具代表性的是One-Hot编码。这种方法将每个词表示为一个高维向量，向量中只有一个位置为1，其余均为0。例如在一个包含10000个词的词典中，每个词都被表示为一个10000维的向量，其中只有一位是1，其他都是0。

这种方式虽然简单直观，但存在明显的缺陷：

  1. 维度灾难：随着词汇量增加，向量维度急剧增长，存储和计算成本高昂
  2. 语义缺失：无法体现词汇间的语义关系，任意两个词的向量都是正交的
  3. 数据稀疏：高维稀疏向量导致模型训练困难，泛化能力差

正是在这样的背景下，Word Embedding应运而生，它提供了一种低维、稠密且富含语义信息的词表示方法。

Word Embedding详解

定义

Word Embedding是一种将词转换为多维、高维空间向量的技术，这些向量能够在数学空间中捕捉词汇的语义和语法特征。

分类

目前Word Embedding可分为广义和狭义两种方式：

  1. 广义定义：指所有密集词汇向量的表示方法，比如经典的Word2Vec、GloVe等。
  2. 狭义定义：特指深度网络中的嵌入层，如PyTorch中的nn.Embedding。

核心对比：Word2Vec vs nn.Embedding

为了更好地理解这两种技术，我们需要深入比较它们的本质差异：

特征Word2Vecnn.Embedding
性质静态模型动态模型
训练方式预训练端到端训练
更新机制固定不变实时更新
集成方式外部组件网络内建层

Word2Vec的特点：

Word2Vec是一种静态的语义向量模型，通过选择不同的算法模型（CBOW/skipgram）以有监督模式进行训练，获取上下文之间的语义关系，返回一个带有语义的静态模型，再交给神经网络模型进行前向传播训练。

nn.Embedding的特点：

nn.Embedding是一个动态的向量模型，它会嵌入到神经网络中，在训练过程中属于神经网络的一层，也会参与文本模型的训练，并会实时更新Embedding模型的参数权重。这种方式更加自动化，使用更简单。

实例演示

让我们通过代码示例来直观感受Word Embedding的强大功能：

from itertools import chain
import torch
import jieba
from keras.src.legacy.preprocessing.text import Tokenizer

content = '重生之我之连中100张彩票之路'

word_list = jieba.lcut(content)
embedding_fn = torch.nn.Embedding(num_embeddings=len(word_list), embedding_dim=4)

for i,word in enumerate(word_list):
    vec = embedding_fn(torch.tensor(i))
    print(f'word: {word}, index:{i}, 向量: {vec}')

输出结果展示了每个词对应的向量表示：

word: 重生, index:0, 向量: tensor([ 1.3260,  0.0664, -0.9312, -1.4123], grad_fn=<EmbeddingBackward0>)
word: 之, index:1, 向量: tensor([ 1.1431,  0.8648, -0.5740, -0.3914], grad_fn=<EmbeddingBackward0>)
word: 我, index:2, 向量: tensor([-1.3936, -0.6188, -0.2729, -1.0073], grad_fn=<EmbeddingBackward0>)
word: 之, index:3, 向量: tensor([-1.2053,  1.8115,  0.1086,  1.7341], grad_fn=<EmbeddingBackward0>)
word: 连, index:4, 向量: tensor([-1.6497,  1.5567, -2.2584,  0.3837], grad_fn=<EmbeddingBackward0>)
word: 中, index:5, 向量: tensor([-0.5550,  0.1823,  0.6059, -0.4484], grad_fn=<EmbeddingBackward0>)
word: 100, index:6, 向量: tensor([-0.2571, -0.6528,  0.3145,  0.8699], grad_fn=<EmbeddingBackward0>)
word: 张, index:7, 向量: tensor([ 1.7522, -0.3115,  0.8532, -0.9818], grad_fn=<EmbeddingBackward0>)
word: 彩票, index:8, 向量: tensor([ 0.0214,  2.0547,  1.1937, -0.1456], grad_fn=<EmbeddingBackward0>)
word: 之, index:9, 向量: tensor([ 0.3499,  0.6875, -0.6208,  1.1540], grad_fn=<EmbeddingBackward0>)
word: 路, index:10, 向量: tensor([-0.2359,  0.0211,  0.5733, -0.9564], grad_fn=<EmbeddingBackward0>)

处理多行文本语料的示例：

# 新案例, 多行文本语料如何进行合并

sentences = [    '听见你说, 照样汽油罗, 请于南侧,道路视角不多, 我已习惯, 你突然xxx, 慧慧飒飒, 蒋垛样袋从头',    '那叫不要留, 时光已过不再有, 慧慧飒飒, 江河拥戴从头',    '来来来, 喝完这一辈, 还有一杯, 喝完这一辈还有三辈']

word_list = list(chain(*map(lambda x: jieba.lcut(x), sentences) ))

print('word_list', word_list)

tokenizer = Tokenizer()
tokenizer.fit_on_texts(word_list)

total_index_list = tokenizer.texts_to_sequences(word_list)
print('index_word', tokenizer.index_word)

total_length = len(tokenizer.index_word.keys())

print('length', total_length)
embedding = torch.nn.Embedding(num_embeddings=total_length, embedding_dim=4)
print(embedding.weight.data,  len(embedding.weight.data))

for idx in tokenizer.index_word.keys():
    vec = embedding(torch.tensor(idx-1))
    if idx:
        print(f'id:{idx}, word:{tokenizer.index_word[idx]}, vec: {vec}')

价值变化：NLP领域的革命性进步

Word Embedding技术的引入为自然语言处理领域带来了深刻的变革：

1. 语义理解能力的飞跃

传统方法只能处理词汇的表面形式，而Word Embedding使模型能够捕获词汇间的语义关系。例如，"国王-男人+女人=王后"这样的类比关系可以在向量空间中得到很好的体现。

2. 计算效率的显著提升

相比高维稀疏向量，低维稠密向量大大减少了存储空间和计算时间，使得大规模NLP应用成为可能。

3. 模型泛化能力增强

通过共享语义空间，模型能够更好地处理未登录词和罕见词，提升了在新数据上的表现。

4. 应用场景的拓展

Word Embedding不仅改善了传统NLP任务（如文本分类、情感分析），还为机器翻译、问答系统等复杂应用奠定了基础。

数据对比分析

通过实际运行上述代码，我们可以观察到以下关键数据：

  1. 词汇数量：在我们的测试语料中，共识别出40个唯一词汇
  2. 向量维度：示例中使用4维向量表示每个词（实际应用中通常使用100-300维）
  3. 数值范围：向量元素值分布在[-3, 3]区间内，体现了良好的数值稳定性
  4. 梯度信息：每个向量都携带grad_fn=<EmbeddingBackward0>信息，表明其支持反向传播

这种表示方式相比于传统的One-Hot编码具有明显优势：

  • 存储效率提升：从10000维降至4维（示例中），压缩率超过99%
  • 语义丰富度：向量间夹角能反映词汇间语义相似度
  • 计算友好性：支持各种向量运算操作

总结与展望

Word Embedding作为现代自然语言处理的基石技术，彻底改变了计算机理解和处理文本的方式。它不仅解决了传统方法在语义表示方面的根本缺陷，还为后续的深度学习模型（如RNN、LSTM、Transformer等）提供了高质量的输入表示。

随着技术的发展，Word Embedding也在不断演进：

  • 从静态嵌入（Word2Vec、GloVe）发展到上下文相关的动态嵌入（BERT、ELMo）
  • 从英文处理扩展到多语言支持
  • 从词汇级别上升到句子和篇章级别

未来，随着大语言模型的兴起，Embedding技术将继续发挥重要作用，为我们构建更加智能的语言处理系统提供支撑。

注意：在实际使用中需要特别关注索引对齐问题。如示例中所示，vec = embedding(torch.tensor(idx-1))这里是从0开始做向量计算的，而在tokenizer.index_word中，索引是从1开始的。这类细节错误可能导致程序异常，需要格外小心.

avatar
文章
阅读
粉丝