DeepSeek AI发布了一些开放权重推理模型(例如o1)。
疯狂的是,它实现了与 OpenAI o1 类似的性能,但成本却低得多(便宜约 95%)。
例如,每 100 万个代币:
- OpenAI o1:60.00 美元
- DeepSeek R1:2.19 美元(便宜 95%)。
今天,让我们向您展示我们使用 DeepSeek 构建的**RAG 应用程序。**
首先,我们使用 LlamaIndex 加载并解析外部知识库,它是存储在目录中的文档:
接下来,我们定义一个嵌入模型,它将为文档块和用户查询创建嵌入:
创建嵌入后,下一个任务是将它们索引并存储在向量数据库中。我们将使用自托管的 Qdrant 向量数据库来实现此目的,如下所示:
接下来,我们定义一个自定义提示模板来细化 LLM 的响应并包含上下文:
快完成了!
最后,我们设置一个查询引擎,它接受查询字符串并使用它来获取相关上下文。
然后,它将上下文和查询作为提示发送给 LLM,以生成最终响应。
下面,我们使用 LlamaIndex 与 Ollama 的集成来设置 DeepSeek-R7 7b:
完毕!
我们在这里展示了一些流线型的部分,但在构建之后,我们得到了这个清晰整洁的界面:
这难道不简单又直接吗?