探索Shale Protocol：轻松部署LLM推理API

tangtang123
44 阅读2分钟

引言

在生成式AI应用日益普及的今天，低门槛的推理API对开发者来说至关重要。Shale Protocol提供了一种生产就绪的推理API，支持开源的大型语言模型（LLMs），使开发者和研究者能够快速构建和探索这些模型的能力。本文将介绍如何使用Shale-Serve API与LangChain集成，助您轻松上手。

主要内容

什么是Shale Protocol？

Shale Protocol是一种即插即用的API，托管在高度可扩展的GPU云基础架构上。免费使用层支持每天最多1000个请求，降低了构建生成式AI应用的门槛。

如何获取API密钥

  1. 访问shaleprotocol.com，并通过其Discord上的“Shale Bot”生成API密钥。无需信用卡，无需试用，永远的免费层！

  2. 确保将API端点设置为https://shale.live/v1，作为OpenAI API的替代方案。

支持的模型

截至2023年6月，API默认支持Vicuna-13B，并计划在未来支持更多模型，如Falcon-40B。

与LangChain集成

LangChain是一种用于构建LLMs应用的强大工具包。Shale Protocol能够与LangChain无缝结合，实现更高效的开发过程。

代码示例

以下是使用Shale Protocol与LangChain结合的一个示例代码：

# 使用API代理服务提高访问稳定性
from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser

import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"

llm = OpenAI()

template = """Question: {question}

# Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

llm_chain = prompt | llm | StrOutputParser()

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.invoke(question)

常见问题和解决方案

  1. API访问不稳定

    如果您所在的地区网络访问有障碍，建议使用API代理服务来提高访问稳定性。

  2. 每日请求超限

    目前免费层限制每天1000次请求。对于更高的使用需求，建议联系Shale Protocol以获取更高级别的服务。

总结和进一步学习资源

Shale Protocol为开发者和研究者提供了一个简单而强大的平台，能快速构建基于LLM的应用。若想深入了解其更多功能，建议阅读以下资源：

参考资料

  1. Shale Protocol API文档
  2. LangChain GitHub

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝