本地部署Deep Seek-R1大模型详细教程(含搭建本地知识库)

435 阅读1分钟

本地搭建

Ollama

Ollama是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种模型架构,并提供与OpenAI兼容的API接口,适合开发者和企业快速搭建私有化AI服务。
访问Ollama官网(ollama.com/), 点击“Download”(如图1所示),根据操作系统(Windows、macOS或Linux)下载自己操作系统对应的安装包(如图2所示),比如,Windows用户可以点击“Windows”图标,然后,点击“Download for Windows”下载安装包。 image.png

图1

下载

image.png

图2

安装

image.png

验证

image.png

拉取大模型 image.png 运行 image.png 该界面不是很友好可以安装Open WebUI,如果有跟着后续做此步骤可以省略 image.png 参考链接:dblab.xmu.edu.cn/blog/5816/#…

搭建本地知识库

下载AnythingLLM image.png image.png 安装 image.png

下载nomic-embed-text

A high-performing open embedding model with a large token context window.作为嵌入首选项 image.png 配置 image.png image.png 使用示例: image.png

参考链接: www.cnblogs.com/jyzhao/p/18…