使用你笔记本CPU来搭建本地大模型知识库随着各自开源模型的发展，让入门变得非常简单，现在需要修改任何代码，直接就可以在本

搭建本地大模型知识库

随着各自开源模型的发展，让入门变得非常简单，现在需要修改任何代码，直接就可以在本地运行一个自己的私人助手。

搭建中最大的难点就是你需要解决科学上网问题

本地快速运行

ollama

# 下载并运行llama3
$ ollama run llama3
>>> /?
Available Commands:
  /set            Set session variables
  /show           Show model information
  /load <model>   Load a session or model
  /save <model>   Save your current session
  /clear          Clear session context
  /bye            Exit
  /?, /help       Help for a command
  /? shortcuts    Help for keyboard shortcuts

Use """ to begin a multi-line message.

$ ollama ps
NAME         	ID          	SIZE  	PROCESSOR	UNTIL
llama3:latest	365c0bd3c000	5.5 GB	100% GPU 	3 minutes from now

# mac会家目录存放下载的models
$ ls ~/.ollama
history        id_ed25519     id_ed25519.pub logs           models         ollama-torm

UI

github.com/open-webui/…

可以通过ui来更方便的使用ollama

$ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

AnythingLLM

useanything.com/

1、安装好后选择ollama模型

2、创建一个自己的名称空间

3、导入自己的文档（可以直接导入文件夹，支持md文件，会把图片等内容自动过滤掉）

4、等待导入成功后就可以把文件移入到工作区了

我这边测试了一下私有知识的问答，有些问题回答的还是有点不理想，在编造知识回答。可能是因为上传的笔记不够体系化，优化后应该可以得到更准确的结果。