seeksky

为什么需要 RAG 大型语言模型擅长生成，但它们的知识来自训练数据，存在时效性与覆盖面边界。RAG（Retrieval-Augmented Generation）把“检索”与“生成”结合起来：先

语义向量 Embeddings 生成与使用 导读 Embeddings 的价值不在于“把文本变成数字”，而在于把语义关系映射到空间距离里：语义越近，向量越近。这让检索、聚类、推荐、去重等任务都能用统一

导读 Transformer 之所以重要，不只是“更强的模型”，而是它用注意力让序列计算可以并行化，并且把“依赖关系建模”变成了可解释、可控制的操作。本文从公式与结构讲清楚核心机制，再落到 PyTor

写分词器不是“把文本切成词”那么简单，而是一套关乎模型输入、计费、日志与安全的工程系统。tiktoken 采用字节级 BPE，并提供严格的特殊 token 管控与多种解码接口，是一套面向生产的分