给问答加了结果缓存，命中率 38%，看着不错。但账单只降了 - AI向善 - 沸点 - 掘金

数字游民（梦想）

#AI 编程# 给问答加了结果缓存，命中率 38%，看着不错。但账单只降了 12%，因为每次命中前还是要先算一次 query 的 embedding。后来把 embedding 也做缓存，同一批高频问题的向量直接复用，成本才真正降下来。缓存要连前置计算一起算。你们缓存算到哪一层？

赞过