在服务器上部署 DeepSeek 需要什么配置与怎么部署

landonVM
0 阅读3分钟

​

 前言

这两年特别流行AI，市面上也有很多的AI。可以说是基本上谁有的科技大厂都有自己的AI，这些有好也有不好的。今天给大家分享下在服务器上部署 DeepSeek-R1 需综合考虑的配置和步骤，具体还是请参考官方文档。

官方地址：

一、基础硬件配置

  1. CPU

    • 推荐：至少 4 核以上（如 Intel Xeon 或 AMD EPYC 系列），若需处理高并发请求或复杂计算，建议 8 核+。

  2. 内存

    • 小型模型：16 GB+（如 7B 参数的模型需约 20GB 内存）。
    • 大型模型：32 GB+（如 13B+ 参数模型建议 64GB+）。

  3. 存储

    • SSD 硬盘：至少 50GB 可用空间（模型文件+系统环境）。
    • 大型模型：预留 200GB+（如包含向量数据库或数据集）。

  4. GPU（可选但推荐）

    • 若需加速推理，选择支持 CUDA 的 NVIDIA GPU（如T4/V100/A10），显存至少 16GB。

二、软件环境

  1. 操作系统

    • Ubuntu 20.04/22.04 LTS（社区支持完善，兼容性强）。

  2. 深度学习框架

    • PyTorch / TensorFlow：根据模型要求安装对应版本。
    • CUDA/cuDNN（若用GPU）：需与框架版本匹配。

  3. Python环境

    • Python 3.8+，推荐使用 conda 或 venv 创建虚拟环境。

  4. 依赖库

    • transformers, sentencepiece, accelerate等（Hugging Face生态工具）。
    • Web 框架：FastAPI/Flask（提供API服务）。

三、部署步骤

1：环境初始化

# 更新系统
sudo apt update && sudo apt upgrade -y

# 安装基础工具
sudo apt install -y git curl wget python3-pip

# 安装CUDA（GPU场景）
# 参考NVIDIA官方文档：https://developer.nvidia.com/cuda-downloads

2：安装Python环境

# 使用conda管理环境
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
conda create -n deepseek python=3.10
conda activate deepseek

3：安装模型依赖

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117  # 根据CUDA版本调整
pip install transformers accelerate sentencepiece

4：下载模型从Hugging Face Hub或官方渠道获取模型权重：

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("deepseek-ai/deepseek-llm-7b")
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b")

5：部署API服务使用FastAPI编写推理接口：

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class Query(BaseModel):
    text: str

@app.post("/predict")
async def predict(query: Query):
    inputs = tokenizer(query.text, return_tensors="pt")
    outputs = model.generate(**inputs)
    return {"response": tokenizer.decode(outputs[0])}

6：配置Web服务器使用Nginx反向代理并配置SSL：

server {
    listen 80;
    server_name your-domain.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name your-domain.com;
    ssl_certificate /etc/letsencrypt/live/your-domain.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/your-domain.com/privkey.pem;

    location / {
        proxy_pass http://localhost:8000;
        proxy_set_header Host $host;
    }
}

四、安全与优化

1：防火墙设置

sudo ufw allow ssh
sudo ufw allow http
sudo ufw allow https
sudo ufw enable

2：进程管理使用systemd托管服务：

# /etc/systemd/system/deepseek.service
[Unit]
Description=DeepSeek API
After=network.target

[Service]
User=ubuntu
WorkingDirectory=/opt/deepseek
ExecStart=/opt/miniconda3/envs/deepseek/bin/uvicorn main:app --host 0.0.0.0 --port 8000
Restart=always

[Install]
WantedBy=multi-user.target

3：监控与日志使用journalctl查看日志：

journalctl -u deepseek.service -f

注意事项

  • 模型量化：若资源有限，可使用bitsandbytes进行4/8-bit量化降低显存占用。
  • 缓存优化：启用vLLM或TGI（Text Generation Inference）提升推理速度。
  • 带宽限制：确保VPS流量充足（如1TB+），避免超额收费。

根据实际需求调整配置，建议从低配测试后逐步升级。

总结

这个大部分都是按照官方的文档进行操作的，如有不懂的可以去对照下官方的文档。

原文发于我的博客：landonVPS

​

avatar
文章
阅读
粉丝