要想发挥OLLAMA的真正实力🎯, 还是要与JBoltAI搭配食用才能发挥其最大价值🤑😂, JBoltAI欢迎亲的随时关注哟🤩😚~
为什么要在一台机器上同一个小模型跑多个?
ollama的大模型最高并发上限是20个, 那么如果我们想进一步提高大模型的并发性能, 20个显然是无法满足我们的日常需求的, 如何做到呢? 今天小编就交给大家如何用ollama用一张显卡, 同一个小模型跑多个, 达到提升并发量的效果~~~ 那么开始吧
提前需要了解的几个点儿~
不要慌哦, 其实很简单~ 使用ollama run命令同一个大模型只能启用一次, 那么问题来了, 如果可以运行多个ollama, 那么是不是就可以同一个大模型启用多个了呢? 那么就需要这么几件事情需要做:
- 需要让docker拥有调用GPU的能力, 需要让docker知道具体调用哪张显卡, 毕竟有的亲机器上显卡很多~
- 需要让ollama知道调用哪张显卡!
听起来很复杂? 其实实现起来特别简单~
docker run --gpus 0 -e CUDA_VISIBLE_DEVICES=0 -d -v ollama:/root/.ollama -p 11434:11434 --name ollama1 ollama/ollama
docker exec -it ollama1 ollama run deepseek-r1:1.5b
是不是很容易!!! 让我细细为亲讲解每一个参数哈!
gpus 0:
告诉docker调用哪个GPU, 你也可以写--gpus all, 那么这样就是调用所有GPU哦~
CUDA_VISIBLE_DEVICES=0:
告诉ollama使用哪个GPU
ollama:/root/.ollama:
将本机装的ollama模型映射到docker中的ollama地址, 这样就可以服用所有的大模型## 文件了, 不用每次下载, 嘿嘿~...
11434:11434:
端口映射... 烂大街了...
# 如法炮制, 再启动一个ollama~
docker run --gpus 0 -e CUDA_VISIBLE_DEVICES=0 -d -v ollama:/root/.ollama -p 11435:11434 --name ollama2 ollama/ollama
注意, 端口号不要还写成之前的11434! 同时给ollama一个不一样的名字, 之前的叫ollama1, 这个就叫ollama2
接下来就是见证奇迹的时刻, 上眼!
再来一个
是不是So Easy!🤩
要想发挥OLLAMA的真正实力🎯, 还是要与JBoltAI搭配食用才能发挥其最大价值🤑😂, JBoltAI欢迎亲的随时关注哟🤩😚~
