seeger

赞

12

|

搜索文章

赞

文章( 12 ) 沸点( 0 )

大模型私有化部署实践（二）：vLLM 分布式推理与性能优化

前置前文提到大模型私有化部署实践（一）：从零开始的 Ollama 部署，在私有化部署中，如果需要快速验证模型效果，Ollama 是一个不错的选择。然而，当面对生产环境的需求，尤其是在显卡资源有限或需

seeger
1年前
3.0k
1
评论

大模型私有化部署实践（二）：vLLM 分布式推理与性能优化

大模型私有化部署实践（一）：从零开始的 Ollama 部署

ollama简介 Ollama 是一个开源的大模型私有化部署工具，旨在帮助企业和开发者轻松地将大型语言模型（LLMs）部署到本地环境中。随着大模型技术的快速发展，越来越多的组织希望能够在自己的基础设施

seeger
1年前
1.5k
1
评论

大模型私有化部署实践（一）：从零开始的 Ollama 部署

个人成就

文章被点赞 12

文章被阅读 9,074

加入于

2023-01-16