大模型

云服务器准备 网络加速 安装驱动与CUDA 删除现有的CUDA包 删除之前的CUDA目录 清理apt源 重新安装CUDA 12.4 设置环境变量 重启系统 验证安装 安装Docker 更新系统包 安装

基础环境搭建 open-webui安装 ollama在线安装 2.1. 将模型下载地址改到数据盘 2.2. 启动ollama 3. 安装deepseek-r1:14b模型 Embedding模型下载

vllm离线部署-离线推理服务的大模型生命周期 vllm在线部署-服务器参数 vllm在线部署-服务启动参数 只需要关注--host 指定服务器的主机地址 和 --port 指定服务器的端口号 在au

部署vllm的要求 仅支持在linuxc操作系统 pyhon版本要求在3.8～3.12之间 部署操作流程 检查conda版本，若出现conda not found ,需要先安装conda环境 2. 创

AutoDL服务器选择 根据gpu服务器显存大小，对比下方图中。目前租用3080，显存10GB,可以选择1.5b，7b，8b；为了节省gpu服务器资源，以最小模型安装1.5b； AutoDL安装oll