LLM

LLM

LLM

大模型相关

暂无订阅共6篇文章创建于2024-10-05

LLM | Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）

1. 详细步骤 1.1 安装 1.2 启动 1.2.1 直接启动简洁命令多参数命令设置模型缓存路径和模型来源（Hugging Face/Modelscope） 1.2.2 集群部署

1年前
898
点赞
评论

LLM | Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）

LLM | llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）

1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖（非CUDA环境运行可跳过） 1.2 安装 llama.cpp (C/C++环境) 1.3 安装 llama-cpp (Python 环境

1年前
1.3k
点赞
评论

LLM | llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）

LLM | ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）

1. 详细步骤 1.1 拉取源码 1.2 模型转换/量化 1.2.1 安装所需 Python 依赖 torch 其他依赖 1.2.1 模型转换/量化 f16 q8_0 q4_0 1.3 模型测试

1年前
113
点赞
评论

LLM | ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）

LLM | Ollama WebUI 安装使用（pip 版）

Open WebUI (Formerly Ollama WebUI) 也可以通过 docker 来安装使用 1. 详细步骤 1.1 安装 Open WebUI 1.2 启动 ollama 服务 1.3

1年前
788
点赞
评论

LLM | Ollama WebUI 安装使用（pip 版）

LLM | 迁移 ollama 模型文件到新机器（支持离线运行）

1. 详细步骤以qwen2.5:0.5b-instruct-fp16为例 1.1 迁移 manifests 文件 1.2 迁移 blobs 文件 1.3 验证

1年前
436
点赞
评论

LLM | 迁移 ollama 模型文件到新机器（支持离线运行）

LLM | Ollama 安装、运行大模型（CPU 实操版）

1. 操作步骤 1.1 安装 1.2 验证（可跳过） 1.3 启动服务端 1.4 跑通第一个模型 2. 参考资料 2.1 Ollama GitHub https://github.com/ollama

1年前
377
点赞
评论

LLM | Ollama 安装、运行大模型（CPU 实操版）