使用 DeepSeek 实现 100% 本地 RAG

1,285 阅读1分钟

DeepSeek AI发布了一些开放权重推理模型(例如o1)。

疯狂的是,它实现了与 OpenAI o1 类似的性能,但成本却低得多(便宜约 95%)。

例如,每 100 万个代币:

  • OpenAI o1:60.00 美元
  • DeepSeek R1:2.19 美元(便宜 95%)。

今天,让我们向您展示我们使用 DeepSeek 构建的**RAG 应用程序。**

首先,我们使用 LlamaIndex 加载并解析外部知识库,它是存储在目录中的文档:

接下来,我们定义一个嵌入模型,它将为文档块和用户查询创建嵌入:

创建嵌入后,下一个任务是将它们索引并存储在向量数据库中。我们将使用自托管的 Qdrant 向量数据库来实现此目的,如下所示:

接下来,我们定义一个自定义提示模板来细化 LLM 的响应并包含上下文:

快完成了!

最后,我们设置一个查询引擎,它接受查询字符串并使用它来获取相关上下文。

然后,它将上下文和查询作为提示发送给 LLM,以生成最终响应。

下面,我们使用 LlamaIndex 与 Ollama 的集成来设置 DeepSeek-R7 7b:

图像

完毕!

我们在这里展示了一些流线型的部分,但在构建之后,我们得到了这个清晰整洁的界面:

图像

这难道不简单又直接吗?