# 打造自定义输出解析器:深度解析模型输出的技巧与实践
## 引言
在构建AI应用时,有时我们需要将模型的输出转换为自定义格式。本文将讨论如何创建自定义的输出解析器。我们将介绍两种主要方法:使用可运行的Lambda或生成器,这种方法适合大多数场景;通过继承解析基类,这种方式更复杂但提供更大的控制权。
## 主要内容
### 使用Runnable Lambda和Runnable Generator
推荐的方法是使用可运行的Lambda和生成器。以下是一个简单的解析器,它将模型输出的大小写反转:
```python
from typing import Iterable
from langchain_anthropic.chat_models import ChatAnthropic
from langchain_core.messages import AIMessage, AIMessageChunk
model = ChatAnthropic(model_name="claude-2.1")
def parse(ai_message: AIMessage) -> str:
"""Parse the AI message."""
return ai_message.content.swapcase()
chain = model | parse # 将模型输出通过解析器
chain.invoke("hello") # 输出:'hELLO!'
使用Streaming Parser
对于需要流式处理的场景,我们可以让解析器接受一个输入迭代器,并在结果可用时逐次产生输出:
from langchain_core.runnables import RunnableGenerator
def streaming_parse(chunks: Iterable[AIMessageChunk]) -> Iterable[str]:
for chunk in chunks:
yield chunk.content.swapcase()
streaming_parse = RunnableGenerator(streaming_parse)
chain = model | streaming_parse
for chunk in chain.stream("tell me about yourself in one sentence"):
print(chunk, end="|", flush=True)
# 输出:i|'M| cLAUDE|,| AN| ai| ASSISTANT| CREATED| BY| aNTHROP|IC| TO| BE| HELPFUL|,| HARMLESS|,| AND| HONEST|.
继承解析基类
虽然不推荐,但继承解析基类可以实现更精细的控制。以下是一个简单的布尔解析器示例:
from langchain_core.exceptions import OutputParserException
from langchain_core.output_parsers import BaseOutputParser
class BooleanOutputParser(BaseOutputParser[bool]):
"""Custom boolean parser."""
true_val: str = "YES"
false_val: str = "NO"
def parse(self, text: str) -> bool:
cleaned_text = text.strip().upper()
if cleaned_text not in (self.true_val.upper(), self.false_val.upper()):
raise OutputParserException(
f"BooleanOutputParser expected output value to either be "
f"{self.true_val} or {self.false_val} (case-insensitive). "
f"Received {cleaned_text}."
)
return cleaned_text == self.true_val.upper()
parser = BooleanOutputParser()
parser.invoke("YES") # 输出:True
常见问题和解决方案
- 无法流式处理? 请确保使用
RunnableGenerator
包装流式解析器。 - 解析错误? 当输入不符合预期格式时,抛出
OutputParserException
以便于错误处理。
总结和进一步学习资源
本文介绍了如何创建自定义输出解析器的多种方法。为了深入了解,可以查看LangChain的官方文档及其API参考。
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
---END---