# 引言
随着生成式AI应用程序的普及，开发者和研究人员对高效且可扩展的语言模型推理需求不断增加。Shale Protocol提供了一种生产就绪的推理API，专为开放的LLM（大型语言模型）设计，并已经为开发者提供了强大的硬件支持。这篇文章将展示如何将Shale-Serve API与LangChain结合使用，实现便捷的AI应用程序构建。
# 主要内容
## 什么是Shale Protocol？
Shale Protocol是一种即插即用的推理API，由高可扩展的GPU云基础设施托管。它允许开发者轻松构建和探索开放型LLM的能力。使用免费层级每天支持多达1000个请求，使开发者无需任何费用即可开始创建genAI应用程序。
## 支持的模型
截至2023年6月，Shale Protocol默认支持Vicuna-13B模型，并计划在未来版本中支持更多模型，例如Falcon-40B。
## 获得API密钥
要使用Shale Protocol，首先需要在[Shale Protocol官网](https://shaleprotocol.com)上找到并加入我们的Discord，通过“Shale Bot”生成API密钥。无需信用卡，无需免费试用，每个密钥每天固定支持1000次请求。
## 如何实现LangChain集成
通过以下步骤，可以将Shale-Serve API与LangChain库进行集成：
1. 安装所需的Python库：`langchain_openai` 和 `langchain_core`。
2. 在程序中设置API基础URL为 `https://shale.live/v1`。
3. 将API密钥存储在环境变量中。
4. 使用相关组件创建和调用LangChain。
# 代码示例
以下是一个完整的LangChain集成示例：
```python
from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY" # 使用API代理服务提高访问稳定性
llm = OpenAI()
template = """Question: {question}
# Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
llm_chain = prompt | llm | StrOutputParser()
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.invoke(question)
常见问题和解决方案
问题1：API请求失败？
- 解决方案：确保API密钥有效且每日请求配额未超出。建议在网络受限地区使用API代理服务，以确保稳定的访问。
问题2：推理速度较慢？
- 解决方案：对此类问题，检查网络连接稳定性，或联系Shale Protocol支持团队以获取进一步的优化建议。
总结和进一步学习资源
通过结合使用Shale Protocol和LangChain，开发者可以无缝集成大型语言模型的推理能力，极大简化了生成式AI应用的开发流程。推荐学习以下资源以深入了解：
参考资料
- OpenAI API文档
- LangChain官方库
- Shale Protocol产品介绍
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
