使用提示模板无工具调用的高效数据提取指南

用户026700199494
78 阅读3分钟

引言

在人工智能驱动的解决方案中，从非结构化文本中提取结构化数据是一项常见任务。虽然可以利用工具来实现这一点，但通过精心设计的提示（prompt）来指导大语言模型（LLMs）生成目标格式的数据，同样可以达到相同的效果。这篇文章将向您展示如何通过提示模板来提取数据，而无需调用额外的工具。我们将以结构化JSON为示例，向您展示如何设计提示、解析输出，并有效地使用LLMs。

主要内容

1. 选择合适的LLM

在开始之前，您需要选择一个适合的LLM。以下是一些常用的LLM平台：

  • OpenAI
  • Anthropic
  • Azure
  • Google
  • Cohere
  • NVIDIA
  • FireworksAI
  • Groq
  • MistralAI
  • TogetherAI

选择LLM时，请考虑到您的应用场景以及模型特性。

2. 设计好的提示

设计提示时，您需要告知模型其需要输出的格式。例如，您可以要求模型以JSON格式输出，通过这种方式，可以更容易地将输出解析为程序所需的数据结构。

3. 使用解析器结构化输出

为了将模型的输出解析成所需的Python对象，我们通常使用诸如PydanticOutputParser之类的解析工具。这样的工具可以帮助我们将LLM产生的文本转换为结构化的数据对象。

代码示例

以下是一个使用 PydanticOutputParser 的完整代码示例：

from typing import List
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

class Person(BaseModel):
    """Information about a person."""
    name: str = Field(..., description="The name of the person")
    height_in_meters: float = Field(..., description="The height of the person expressed in meters.")

class People(BaseModel):
    """Identifying information about all people in a text."""
    people: List[Person]

# Set up a parser
parser = PydanticOutputParser(pydantic_object=People)

# Prompt
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "Answer the user query. Wrap the output in `json` tags\n{format_instructions}"),
        ("human", "{query}"),
    ]
).partial(format_instructions=parser.get_format_instructions())

query = "Anna is 23 years old and she is 6 feet tall"

print(prompt.format_prompt(query=query).to_string())

chain = prompt | model | parser
response = chain.invoke({"query": query})

print(response)  # Output: People(people=[Person(name='Anna', height_in_meters=1.83)])

常见问题和解决方案

  • 模型无法按照预期格式输出：可以通过加强提示中的具体描述来改善输出。例如，明确指明输出的字段以及格式。
  • 解析错误：确保捕获并处理解析失败的异常。可能需要调整正则表达式或解析逻辑，以处理格式不一的数据块。

总结和进一步学习资源

通过设计得当的提示和解析策略，我们可以在不借助外部工具的情况下，从LLMs中提取结构化信息。这种方法不仅灵活，而且能够适应多种应用场景。对于有兴趣深入学习的读者，以下资源将会提供更多帮助：

参考资料

  1. LangChain官方文档
  2. Pydantic官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝