ollma+deepseek.llm+ragflow 配置知识库

T__TIII
1,657 阅读4分钟

打算在win10电脑上使用ollma+deepseek.llm+ragflow来配置知识库

[!note] 碎碎念 全程对docker真的是又爱又恨！镜像源设置完全失效，pull屡次失败，真想用其他方式弄啊，但不用docker的话，找对依赖项不说，随便一个文件就有两三个G，然而下载速度还只有一两百k，根本下不下来。相比之下，docker win10桌面端虽然一堆bug，但登录之后只要开启科学上网，pull成功率还是挺高的（至少不是零），关键是分块下载，体感上是真的快呀！并且启动也确实方便，不用不行啊！

基本介绍：

ollama:

基础软件：

搜索引擎搜索下载即可

  1. python12（PDFMathTranslate 需要这个运行环境，只是使用docker的话也不需要）
  2. docker win10桌面端
  3. git最新版：Git - Downloading Package

ollama

参考地址：

  1. Ollama系列---【Ollama常用命令】 - 少年攻城狮 - 博客园
  2. 更改ollama模型存储路径 - 大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发|53AI
  3. www.cnblogs.com/obullxl/p/1…
  4. OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示 - 大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发|53AI

完成下载之后，安装ollma，打开cmd控制台；

检查是否安装成功

C:\Users\Administrator>ollama --version
ollama version is 0.5.4

修改ollma的大模型库存储库位置

由于c盘容量实在不够用，必须要切换存储位置，

搜索环境变量->系统变量->新建->变量名：OLLAMA_Models ; 变量值：用户路径(D:\OllamaLLM\models)；

image.png

下载和运行模型

下载deepseek

ollama run deepseek-llm

启动deepseek模型(启动时间可能有点长)：

ollama run deepseek-llm:latest

模型常用命令：

  1. /show info 显示模型具体信息
  2. /bye 退出应用

常用命令和方法：

  1. ollama list 查看本地所有模型

  2. ollama -v 检查版本

  3. ollama run 模型具体名称 启动模型

  4. http://localhost:11434/ 检查ollama服务是否运行正常

    image.png

  5. 检查模型是否正常使用(win系统,注意替换模型名称)：

 (Invoke-WebRequest -method POST -Body '{"model":"deepseek-llm:latest", "prompt":"Why is the sky blue?", "stream": false}' 
-uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

这个是为了后续接口服务的，正常的话会返回以下值：

model                : deepseek-llm:latest
created_at           : 2025-01-09T02:21:31.5782084Z
response             : The sky appears blue because of a phenomenon called Rayleigh scattering. When sunlight enters the Earth's atmosphere, it passes through layers of gas molecules and 
                       particles such as dust and water vapor. The smaller particles, like dust and smoke, scatter light in all directions, including shorter wavelengths (violet, blue, an
                       d green). These shorter-wavelength photons are scattered more efficiently than longer wavelength ones. As a result, the sky appears bluish due to the scattering of 
                       shortwave blue and violet sunlight by nitrogen and oxygen molecules in the atmosphere.
done                 : True
done_reason          : stop
context              : {185, 5726, 25, 5903...}
total_duration       : 3811628300
load_duration        : 1872537300
prompt_eval_count    : 14
prompt_eval_duration : 264000000
eval_count           : 107
eval_duration        : 1671000000

Docker

Docker Desktop: The #1 Containerization Tool for Developers | Docker 下载客户端即可，

常见问题：

  1. docker 点击登录后自动登出 请打开docker自带的Terminal中使用docker login命令登录

  2. 控制台出现%%%API ReQuest错误

    启动docker客户端，即可

  3. 是否可以通过软链接来将Docker放在；

    不可以，这会导致Docker上插件报错，完全无法使用

  4. 无法使用docker pull 镜像，镜像下载不下来

    docker 未登录，登录了，开启科学上网应该就可以下载了，如果还是下载不下来，可以尝试使用docker内部的

image.png

RagFlow

  1. ragflow/README_zh.md at main · infiniflow/ragflow
  1. 下载源码，
  2. 打开docker客户端,打开Terminal,根据docker\docker-compose-base.yml文件分批次下载镜像
docker pull infiniflow/infinity:v0.6.0-dev1
docker pull mysql:8.0.39
docker pull valkey/valkey:8
docekr pull docker.elastic.co/elasticsearch/elasticsearch:8.11.3
docekr pull quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z
  1. 全部下载完成后，下载ragflow
docker pull edwardelric233/ragflow:oc9
  1. 在docker客户启动container

image.png

docker logs -f ragflow-server
  1. 打开网页localhost:80,如果有login页面，说明下载成功

image.png 7. 注册，登录，打开用户设置界面，在模型提供商中添加ollama链接

image.png

image.png 注意：基础URI要写成host.docker.internal ,只有这样才能连的上ollama service 原因请参考docker\docker-compose-CN-oc9.yml中的extra_hosts属性；

剩下的轻而易举了。就不详细说明了 注意事项：

  1. 建议最低32G内存，一个Vmmem就要占几个G到几十个G的内存
  2. 正在登录docker的时候，不要动docker客户端界面，很有可能造成意想不到的bug，之前就因为这个，导致docker死活登不上去，只能使用控制台登录。
avatar
文章
阅读
粉丝