Word2Vec 是一种帮助计算机理解文字含义的技术。它能把每个词变成一组数字（向量），使得意思相近的词，它们的向量也比较接近。这就像给每个词一个坐标，语义相似的词在坐标系里靠得更近。
原理：预测词语之间的关系
Word2Vec 的核心是通过预测来学习词的向量表示。它有两种主要的方法：
- CBOW（Continuous Bag-of-Words，连续词袋模型）：用一个词的上下文（周围的词）来预测这个词本身。就像我们做阅读理解，根据上下文猜测空格里的词。
- Skip-gram：用一个词来预测它的上下文。相当于给出一个词，让我们猜它周围可能出现哪些词。
主要步骤：
- 准备语料：首先需要大量的文章或文本数据，就像给机器提供学习材料。
- 滑动窗口：想象一个窗口在文本上滑动，每次移动一个词。窗口中心的词是“中心词”，窗口里的其他词是“上下文词”。
- 概率计算：对于每个中心词，计算出现它周围上下文词的概率。
- 向量调整：调整每个词的向量，使得中心词能更准确地预测它的上下文词。
目标函数：
Word2Vec 的目标是，在已知中心词的情况下，准确预测其周围一定范围内的上下文词。这个过程用数学公式表达，并通过不断调整词向量来优化预测的准确性。
Word2Vec 的优势：
- 能够发现词语之间的语义关系。比如，“国王” - “男人” + “女人” ≈ “女王”。
- 将词语转换成向量，方便计算机进行计算和分析。
实际应用：
- 情感分析：判断一段文字是积极的还是消极的。例如，分析电商评论，了解用户对产品的喜好。
- 机器翻译：将一种语言翻译成另一种语言。Word2Vec 可以帮助机器理解不同语言中词语之间的对应关系。
- 推荐系统：根据用户的历史行为，推荐相关的商品或内容。例如，如果用户经常购买“篮球鞋”，可以向他推荐其他款式的篮球鞋。
应用案例
情感分析
# 示例代码 (使用 Python 和 Gensim 库)
from gensim.models import Word2Vec
import nltk
from nltk.corpus import stopwords
import re
nltk.download('stopwords')
nltk.download('punkt')
# 1. 准备数据
reviews = [
"这个手机真棒，拍照很清晰，运行速度也很快！",
"电池续航太差了，一天都用不到就没电了。",
"外观设计很漂亮，手感也很好。",
"系统有点卡顿，希望可以改进。"
]
# 2. 文本预处理
stop_words = set(stopwords.words('chinese')) # 中文停用词
def preprocess(text):
text = re.sub(r'[^\w\s]', '', text) # 去除标点符号
tokens = nltk.word_tokenize(text) # 分词
tokens = [w for w in tokens if not w in stop_words and w.isalnum()] # 去除停用词和非字母数字字符
return tokens
processed_reviews = [preprocess(review) for review in reviews]
# 3. 训练 Word2Vec 模型
model = Word2Vec(sentences=processed_reviews, vector_size=100, window=5, min_count=1, workers=4)
model.save("word2vec.model")
# 4. 情感分析 (简单示例：计算积极词语和消极词语的相似度)
positive_words = ["棒", "好", "漂亮"]
negative_words = ["差", "卡", "顿"]
def sentiment_score(review):
score = 0
for word in review:
for positive_word in positive_words:
try:
score += model.wv.similarity(word, positive_word)
except KeyError:
pass # 处理词汇表中没有的词
for negative_word in negative_words:
try:
score -= model.wv.similarity(word, negative_word)
except KeyError:
pass
return score
for review in processed_reviews:
score = sentiment_score(review)
if score > 0:
print(f"评论: {''.join(review)}, 情感: 积极 (得分: {score})")
else:
print(f"评论: {''.join(review)}, 情感: 消极 (得分: {score})")
商品推荐
# 示例代码
from gensim.models import Word2Vec
# 1. 准备商品数据 (假设已经分词)
products = [
["手机", "智能", "大屏", "拍照"],
["手机", "老人", "按键", "大"],
["电视", "高清", "智能", "护眼"],
["冰箱", "保鲜", "节能", "静音"]
]
# 2. 训练 Word2Vec 模型
model = Word2Vec(sentences=products, vector_size=100, window=5, min_count=1, workers=4)
model.save("product2vec.model")
# 3. 商品推荐 (根据用户购买记录推荐相似商品)
def recommend_products(user_history, topn=3):
# 假设 user_history = ["手机", "智能", "大屏"]
similar_products = model.wv.most_similar(user_history, topn=topn)
return similar_products
user_history = ["手机", "智能", "大屏"]
recommendations = recommend_products(user_history)
print(f"用户购买记录: {user_history}, 推荐商品: {recommendations}")
总结：
Word2Vec 通过数学方法，让计算机能够理解词语的含义，从而在各种自然语言处理任务中发挥作用。从情感分析到商品推荐，Word2Vec 的应用前景非常广阔。
