引言
Baidu Qianfan是一个专为企业开发者设计的一站式大模型开发和服务运营平台。它提供了包括文心一言（ERNIE-Bot）和第三方开源模型在内的多种AI开发工具和完整的开发环境，简化了大模型应用的使用和开发。本篇文章将详细介绍如何结合Langchain与Qianfan进行大模型的Completion服务。
主要内容
模型类型
Qianfan平台提供以下类型的大模型：
- Embedding
- Chat
- Completion
API初始化
使用Baidu Qianfan的LLM服务，需要初始化以下参数：
- 将AK和SK设置为环境变量：
export QIANFAN_AK=XXX export QIANFAN_SK=XXX - 或者在代码中初始化这些参数。
当前支持的模型
- ERNIE-Bot-turbo（默认）
- ERNIE-Bot
- BLOOMZ-7B
- Llama-2 系列 (7b, 13b, 70b)
- Qianfan特供模型
安装Langchain包
%pip install -qU langchain-community
代码示例
以下是使用Langchain与Qianfan进行Completion服务的完整代码示例：
import os
from langchain_community.llms import QianfanLLMEndpoint
# 设置环境变量
os.environ["QIANFAN_AK"] = "your_ak"
os.environ["QIANFAN_SK"] = "your_sk"
# 使用API代理服务提高访问稳定性
llm = QianfanLLMEndpoint(streaming=True)
res = llm.invoke("hi")
print(res)
# 流式调用示例
for res in llm.stream("write a joke."):
print(res)
常见问题和解决方案
网络访问问题
由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。
模型调整
目前仅ERNIE-Bot和ERNIE-Bot-turbo支持更多参数设置，如temperature和top_p。未来会支持更多的模型。
总结和进一步学习资源
本文提供了使用Baidu Qianfan平台进行大模型Completion服务的基本指南。开发者可以通过调整模型参数和选择合适的模型来满足不同的需求。
进一步学习资源
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
