[揭开JSONFormer的神秘面纱：如何提升Hugging Face模型的JSON解析能力]

用户838128610330
158 阅读3分钟 
# 揭开JSONFormer的神秘面纱：如何提升Hugging Face模型的JSON解析能力

在人工智能和机器学习领域，处理结构化数据是一项至关重要的任务。如今，越来越多的开发者依赖于Hugging Face提供的优秀模型来处理自然语言。然而，这些模型并不总是能按照期望的JSON格式提供输出。今天，我们将探讨如何使用JSONFormer库来解决这一问题。

## JSONFormer简介

JSONFormer是一个实验性库，旨在通过包装本地的Hugging Face模型来实现部分JSON Schema的结构化解码。该库通过填充结构标记，然后从模型中抽样内容标记来工作。

## 建立Hugging Face 基线

首先，我们使用没有结构化解码的常规Hugging Face模型输出作为基线，来探讨其输出结果。

```python
import logging
import json
import os
import requests
from langchain_core.tools import tool

# 配置日志级别为ERROR
logging.basicConfig(level=logging.ERROR)

HF_TOKEN = os.environ.get("HUGGINGFACE_API_KEY")

@tool
def ask_star_coder(query: str, temperature: float = 1.0, max_new_tokens: float = 250):
    """向BigCode StarCoder模型提问以获得编码问题的解答。"""
    url = "https://api-inference.huggingface.co/models/bigcode/starcoder"
    headers = {"Authorization": f"Bearer {HF_TOKEN}", "content-type": "application/json"}
    payload = {"inputs": f"{query}\n\nAnswer:", "temperature": temperature, "max_new_tokens": int(max_new_tokens)}
    response = requests.post(url, headers=headers, data=json.dumps(payload))
    response.raise_for_status()
    return json.loads(response.content.decode("utf-8"))

# 示例提示
prompt = """You must respond using JSON format, with a single action and single action input.
You may 'ask_star_coder' for help on coding problems.

{arg_schema}

BEGIN! Answer the Human's question as best as you are able.
------
Human: 'What's the difference between an iterator and an iterable?'
AI Assistant:""".format(arg_schema=ask_star_coder.args)

from langchain_huggingface import HuggingFacePipeline
from transformers import pipeline

# 定义Hugging Face模型
hf_model = pipeline("text-generation", model="cerebras/Cerebras-GPT-590M", max_new_tokens=200)
original_model = HuggingFacePipeline(pipeline=hf_model)

# 生成输出
generated = original_model.predict(prompt, stop=["Observation:", "Human:"])
print(generated)

我们看到，输出并没有遵循既定的JSON格式。这为我们探讨JSONFormer提供了一个切入点。

使用JSONFormer LLM进行结构化解码

接下来，我们使用JSONFormer库来实现结构化解码。我们定义输入的JSON Schema，并通过JSONFormer提供给模型。

from langchain_experimental.llms import JsonFormer

# 定义JSON Schema
decoder_schema = {
    "title": "Decoding Schema",
    "type": "object",
    "properties": {
        "action": {"type": "string", "default": ask_star_coder.name},
        "action_input": {"type": "object", "properties": ask_star_coder.args},
    },
}

# 使用JSONFormer进行预测
json_former = JsonFormer(json_schema=decoder_schema, pipeline=hf_model)
results = json_former.predict(prompt, stop=["Observation:", "Human:"])
print(results)

通过JSONFormer，我们得到一个无解析错误的输出，完全符合预期的JSON格式。

常见问题和解决方案

  1. 网络访问限制：在某些地区，访问API可能会受到限制。开发者可以考虑使用API代理服务以提高访问稳定性。

  2. 实验性质：由于JSONFormer仍是实验性模块，可能会在特定场景下表现不佳。开发者需要自行评估其稳定性和适用性。

总结和进一步学习资源

JSONFormer为开发者提供了一种将Hugging Face模型输出格式化为JSON Schema的有效方法。虽然尚属实验性质，但其潜力不容小觑。对于那些需要处理结构化数据的应用场景，JSONFormer提供了一条可行的解决方案。

进一步学习资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝