deepseek本地集群部署
硬件要求
大致显卡需求：运行 7B 机型至少需要 8GB 内存，运行 13B 机型至少需要 16GB 内存，运行 33B 机型至少需要 32GB 内存。
技术
Ollama
vLLM
openwebui
大模型对话界面
k8s*
集群部署方案，可选用其他技术
实验室原有配置是否有集群管理
备选方案
部署蒸馏模型
接入第三方api
deepseek官网(被攻击，不稳定)
硅基流动（首次注册有免费额度）
火山引擎（首次注册有免费额度）
腾讯云平台（首次注册有免费额度）
阿里云平台（首次注册有免费额度）
天翼云（首次注册有免费额度）
超算互联网
纳米AI
Azure
