使用的系统
(base) gillbert@pop-os:~$ lsb_release -a
No LSB modules are available.
Distributor ID: Pop
Description: Pop!_OS 24.04 LTS
Release: 24.04
Codename: noble
安装
curl -fsSL https://ollama.com/install.sh | sh
注意： 下载如果比较慢的话请自行设置下代理
# 把 192.168.0.2:7897 换成你的代理（http 或 socks5）
export http_proxy="http://192.168.0.2:7897"
export https_proxy="http://192.168.0.2:7897"
export all_proxy="socks5://192.168.0.2:7897"
# 本地/内网不走代理（必须加）
export no_proxy="localhost,127.0.0.1,::1,192.168.0.0/16,.local"
# 大写变量（有些程序只认大写）
export HTTP_PROXY="$http_proxy"
export HTTPS_PROXY="$https_proxy"
export ALL_PROXY="$all_proxy"
export NO_PROXY="$no_proxy"
下载模型
官方模型列表参考ollama.com/search
(base) gillbert@pop-os:~$ ollama pull qwen3.5:2b
查看本地模型
(base) gillbert@pop-os:~$ ollama list
NAME ID SIZE MODIFIED
qwen3.5:2b 324d162be6ca 2.7 GB 7 seconds ago
运行模型
(base) gillbert@pop-os:~$ ollama run qwen3.5:2b
ollama默认监听在127.0.0.1:11434,我们可以修改为监听所有的IP地址
# 编辑如下文件，没有的话创建一个
vim /etc/systemd/system/ollama.service.d/override.conf
修改内容如下，只添加一行就可以了，我们让ollama监听所有的ip地址
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama
查看端口,可以看到ollama监听所有ip了
LangChain调用本地大模型
安装依赖包
uv add ollama
uv add langchain-ollama
代码
from langchain_ollama import ChatOllama
llm = ChatOllama(
model="deepseek-r1:1.5b",
base_url="http://192.168.0.23:11434",
reasoning=False # 不使用深度思考
)
ai_msg = llm.invoke("你是谁")
print(ai_msg)
