穷鬼快乐AI工具Ollama

敲敲敲敲暴你脑袋
0 阅读4分钟

不用钱，免费玩AI！是时候用Ollama搞个简单的本地AI大模型，保护自己的钱包！ollama有客户端又有服务接口可调用，真是快乐的穷鬼AI工具！

1. ollama安装与使用

什么是ollama？

Ollama 是一个开源模型管理器与推理引擎，专为简化本地 AI 模型部署和运行设计。它允许用户通过简单的命令（如 ollama serve）快速启动本地大语言模型服务，无需依赖复杂的服务器环境或云端网络。主要特点包括：

  1. 极简部署：只需在终端执行指令即可直接运行本地大模型。
  2. 轻量级：使用 Docker 容器化技术，支持高效多用户并发服务。
  3. 兼容主流格式：支持 GGUF、T5、BLOOM 等常见模型格式的本地加载与推理。
  4. 隐私友好：数据不上传至云端，适合对隐私有要求的个人或企业环境。

适合用于个人 AI 助手开发、本地知识库训练等场景，尤其推荐给需要控制部署环境和提升计算效率的用户。

安装与使用

打开ollama官网，下载安装包https://ollama.com/download，我这里是window电脑，下载OllamaSetup.exe

image.png

安装完后，打开cmd命令窗口，输入指令查看版本，看看是否成功安装！

image.png

然后到ollama的官方查一下可下载的开源的大模型https://ollama.com/search

image.png

打开Qwen3.5大模型，查看一下模型版本，2b代表20亿参数，参数越多，大模型越聪明，相对需要的资源越多。

image.png

不知道自己的电脑配置能装什么版本，可以到unsloth.ai看看配置要求

以下unsloth:https://unsloth.ai/docs/zh/mo-xing/qwen3.5 关于Qwen3.5的配置要求

image.png

我的渣渣笔记本电脑16G内存，没独立显卡，装个qwen3.5:2b不用卡死！

执行ollama pull安装模型，因为模型比较大，下载需要时间，耐心等待

ollama pull qwen3.5:2b

image.png

打开ollama客户端，选择已安装的模型，测试使用一下模型

image.png

image.png

emmm，不用钱的30秒回答一个问题，还可以接受啦~

2. ollama的一些常用命令

查看已安装的模型

ollama list

image.png

查看当前运行的模型

ollama ps

image.png

使用某个模型

ollama run qwen3.5:2b

image.png

run是如果模型未安装，会先下载完再运行模型,pull是只下载不运行

模型开启思考过程的话，需要等待较长时间，想要直接得到答案，可以禁用思考

# 启用思考
ollama run qwen3.5:2b --think
# 禁用思考
ollama run qwen3.5:2b --think=false

删除模型

ollama rm 模型名称

image.png

运行服务

ollama serve

默认启动的访问路径是127.0.0.1:11434，但是可以通过配置系统环境变量可以修改IP地址和端口，让别人可以通过IP访问ollama服务

OLLAMA_HOST=10.1.x.x:11434//改成自己本地的IP地址和端口

image.png

可以执行帮助命令查看服务可配置的环境变量

ollama serve --help

image.png

更多的ollama命令请看官方文档https://docs.ollama.com/cli

3.调用ollama服务与大模型聊天

直接API请求

通过axios、fetch等请求访问ollama服务，详细Ollama API使用请看docs.ollama.com/api/introdu…

image.png

import axios from 'axios';
axios({
  method: 'GET',
  //查看可用模型
  url: 'http://10.1.x.x:11434/api/tags' //替换成自己的IP地址和端口
}).then(({data: res}) => {
  console.log('🚀 ~ index.js ~ res:', res);
});

发起聊天

const question = '请简单回答，为什么天空是蓝色的？';
console.log('question', question);
const start = Date.now();
axios({
  method: 'POST',
  url: 'http://10.1.x.x:11434/api/chat', //替换成自己的IP地址和端口
  data: {
    model: 'qwen3.5:2b',
    //是否启用思考过程，false禁用
    think: false,
    //流式输出，false禁用
    stream: false,
    messages: [
      {
        role: 'user',
        content: question
      }
    ]
  }
}).then(({data: res}) => {
  console.log('answer:', res);
  console.log('time:', (Date.now() - start) / 1000, 's');
});

image.png

通过ollama js库

可以通过官方ollama js库来访问ollama服务

pnpm add ollama

配置ollama的服务地址，查看可用模型

import {Ollama} from 'ollama';
async function main() {
  //连接ollama服务
  const ollama = new Ollama({
    host: 'http://10.1.x.x:11434', //替换成自己的IP地址和端口
    // 如果配置了API KEY，需填写，用于权限校验
    headers: {Authorization: 'Bearer ' + process.env.OLLAMA_API_KEY}
  });
  //查看可用模型
  const list = await ollama.list();
  if (list) {
    console.log('available models:', list);
  }
}
main().catch(console.error);

image.png

请求ollama服务，使用模型发起聊天，等待输出的结果

const question = '请简单回答，为什么天空是蓝色的？';
console.log('question', question);
const start = Date.now();
const response = await ollama.chat({
  //使用模型
  model: 'qwen3.5:2b',
  //聊天消息
  messages: [{role: 'user', content: question}],
  //是否流式输出
  stream: false,
  //是否启用思考过程
  think: false
});

console.log('answer:', response);

//中断请求
// response.abort();
console.log('time:', (Date.now() - start) / 1000, 's');

image.png

不论通过命令行、axios、客户端、js库等方式调用ollama的大模型服务，期间都会打印相关接口的访问日志

image.png

4.总结

本文仅仅简单介绍了ollama工具的使用，有很多复杂的配置和功能可以自行到官网探讨，官方文档都讲得很详细的。

另外，推荐结合langChain使用Ollama的大模型服务，特别好用！

参考

  • Ollama:https://ollama.com/
  • Qwen千问AI:https://www.qianwen.com/
  • unsloth:https://unsloth.ai/
avatar
文章
阅读
粉丝