seeksky

为什么需要 RAG 大型语言模型擅长生成，但它们的知识来自训练数据，存在时效性与覆盖面边界。RAG（Retrieval-Augmented Generation）把“检索”...

语义向量 Embeddings 生成与使用 导读 Embeddings 的价值不在于“把文本变成数字”，而在于把语义关系映射到空间距离里：语义越近，向量越近。这让检索、聚类...

导读 Transformer 之所以重要，不只是“更强的模型”，而是它用注意力让序列计算可以并行化，并且把“依赖关系建模”变成了可解释、可控制的操作。本文从公式与结构讲清楚...

写分词器不是“把文本切成词”那么简单，而是一套关乎模型输入、计费、日志与安全的工程系统。tiktoken 采用字节级 BPE，并提供严格的特殊 token 管控与多种解码接...

深度拆解一套自研的极致本地搜索架构。通过双引擎隔离、数组化内存及虚拟切片等七大优化，成功将内存占用降低 70% 至 510MB，实现毫秒级零延迟响应。方案纯前端闭环、零成本...