增强生成效果：通过多轮对话、信息检测反馈优化语言模型输出

路人与大师
82 阅读10分钟

标题：增强生成效果：通过多轮对话优化语言模型输出

在自然语言处理领域，特别是在使用大型语言模型（LLMs）生成文本时，我们经常会遇到这样一个问题：模型的输出并不总是完全符合预期。尤其是在需要生成复杂结构化数据（如JSON）或多层次信息时，单轮对话可能无法满足需求。这时，利用多轮对话来强化模型的输出可以成为一个有效的策略。

为什么单轮对话可能无法满足需求？

大型语言模型在生成内容时，通常会根据输入的提示生成相应的输出。然而，以下情况可能导致单轮对话输出不尽如人意：

  1. 复杂任务：生成包含多层次逻辑或结构的文本（例如代码片段、嵌套的JSON结构等）时，模型在单次生成中可能会忽略某些细节或产生不准确的内容。
  2. 上下文理解不足：在只有一次输入的情况下，模型可能无法全面理解上下文或生成符合整体语境的输出。
  3. 生成错误的可能性：即使模型生成的内容大体正确，也可能存在格式错误、细节遗漏或逻辑不一致的问题。

多轮对话如何强化输出？

多轮对话的核心思路是通过持续的交互，为模型提供更多的上下文信息、引导模型修正错误，从而最终达到期望的生成效果。以下是多轮对话优化模型输出的几个步骤：

  1. 逐步引导模型：

    • 在第一轮对话中，给出一个相对简单的提示，观察模型的初步输出。
    • 如果输出不符合预期，可以在下一轮对话中提供更多的上下文或更加明确的指示，要求模型修正或补充之前的内容。

  2. 处理复杂的结构化输出：

    • 例如，当需要生成JSON格式的数据时，如果模型在第一轮对话中输出了格式错误的JSON，可以在下一轮中明确要求它修正格式并确保输出可以被解析。
    • 可以提示模型：“请确保输出内容是有效的JSON格式，能够被Python的json.loads函数解析。”

  3. 递归修正和优化：

    • 如果在多轮对话后模型仍未能生成符合预期的输出，可以采取递归生成的策略：在每一轮对话中不断调整提示，直到输出满足要求为止。
    • 通过多次尝试，模型会在连续的上下文中逐步优化其输出，直到达到目标。

实际应用案例：优化生成JSON结构

假设我们需要生成一个有效的JSON格式数据，并且模型在单轮对话中的输出总是存在格式问题。那么，我们可以通过以下方法进行多轮对话优化：

  • 第一轮提示：输入最基本的需求，例如“生成一个包含用户信息的JSON对象”。
  • 第二轮提示：如果模型生成的JSON对象存在格式问题，可以反馈：“你生成的JSON格式不正确，请修正为有效的JSON。”
import json
from pprint import pprint
from tqdm import tqdm
import pandas as pd
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

# Initialize the tokenizer
tokenizer = AutoTokenizer.from_pretrained("/home/ca2/models/Qwen2-7B-Instruct")

# Set the sampling parameters for the model
sampling_params = SamplingParams(
    temperature=0.7, 
    top_p=0.8, 
    repetition_penalty=1.05, 
    max_tokens=512
)

# Initialize the model with GPU memory utilization limit
llm = LLM(
    model="/home/ca2/models/Qwen2-7B-Instruct", 
    gpu_memory_utilization=0.5  # Limit GPU memory usage to 50%
)

# Load the prompt list and word pair mapping
prompt_list = open("cls.16384.glm-4-0520.prompt.only.json", "r").read()[2:].split("}, {")
word_pait_mapping = json.load(open("word_pait_mapping.json", "r"))

# Function to recursively generate valid JSON output
def generate_valid_json(messages):
    # Convert the messages into the format required by the tokenizer
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    outputs = llm.generate([text], sampling_params)
    
    # Check if the generated output is valid JSON
    for output in outputs:
        generated_text = output.outputs[0].text.strip()  # Remove leading/trailing whitespace
        try:
            # Attempt to parse the generated text as JSON
            json_data = json.loads(generated_text)
            return json_data, generated_text  # Return the valid JSON object and text
        except json.JSONDecodeError:
            # If invalid JSON, regenerate with an additional prompt
            print("Invalid JSON generated, regenerating...")
            retry_messages = messages + [
                {"role": "system", "content": generated_text},{"role": "user", "content": "请确保输出的内容是有效的、可以被Python json.loads解析的JSON格式。"}
            ]
            return generate_valid_json(retry_messages)

# Process prompts and generate outputs
a = []
for prompt_one in tqdm(prompt_list[:10000]):
    try:
        # Parse JSON string into a dictionary
        prompt_data = json.loads("{" + prompt_one + "}")
    except json.JSONDecodeError:
        print(f"Error parsing JSON: {prompt_one}")
        continue

    # Prepare translation from word pair mapping
    translate_word = ""
    for word_pait_key in prompt_data['CONVERT_ITEM_E_TO_CHAR(T.PRSSD'].split():
        if word_pait_key in word_pait_mapping:
            translate_word += word_pait_key + "的航空领域含义为：" + word_pait_mapping[word_pait_key] + "\n"

    # Prepare messages for the model
    messages = [
        {"role": "system", "content": "民航签派员，请按照杰普逊手册简缩字提示翻译航行通告。优化指令 注意输出内容为json结构"},
        {"role": "system", "content": translate_word},
        {"role": "system", "content": "正确输出：{\"translate\":\"RWY29进近灯光系统故障，不可用的百分比为50%。\"} 错误输出： \"50 PER CENT RWY29 APCH LIGHTING SYSTEM U/S\" 的中文翻译是 \"RWY29进近灯光系统故障，不可用的百分比为50%。\" 这表示RWY29跑道的进近灯光系统部分失效，只有50%的功能可用，剩余的50%可能不可用或工作状态不明。在飞行操作中，这可能会影响飞行员在低能见度条件下的着陆能力。"},
        {"role": "system",
         "content": "输入 SOUTHEND CTA,CTR ATZ DEACTIVATED. AD CLOSED. NO ATS AVBL 输出：{\"translate\":\"SOUTHEND机场的受管制终端区和受管制空中交通路线内的控制塔已经关闭，无法提供空中交通服务。\"} "},
        {"role": "user", "content": prompt_data['CONVERT_ITEM_E_TO_CHAR(T.PRSSD']}
    ]
    prompt_data['message'] = messages

    # Generate valid JSON output with all previous messages included
    json_data, generated_text = generate_valid_json(messages)
    prompt_data["generated_text"] = generated_text
    prompt_data["parsed_json"] = json_data  # Store the parsed JSON data
    
    pprint(prompt_data)
    a.append(prompt_data)

# Save the data to an Excel file
pd.DataFrame(a).to_excel("cls.杰普逊手册简缩字.10000.qwen-2-7B.vllm.translate.xlsx")
  • 后续轮次：如果依然不符合要求，可以逐步增加约束条件，例如“确保所有的键名都是字符串类型”、“请确保没有多余的逗号”等。

通过这种方式，我们可以逐步逼近理想的生成结果。

多轮对话的优势

  1. 提高生成准确性：通过逐步修正和引导，模型能够生成更加准确、符合预期的输出。
  2. 增强模型理解：多轮对话帮助模型更好地理解任务的复杂性，增强对上下文的把握。
  3. 灵活应对复杂任务：对于需要高精度和复杂结构的任务，多轮对话提供了更加灵活和细致的生成方式。

只做了一个小小的改变模型的效果竟然提升了这么多

总共生成数据符合标准结构数据
单轮指令生成9976656765.82%
多轮反馈指令生成1973133267.51%

总结

在与大型语言模型的交互中，如果单轮对话无法满足需求，多轮对话是一个有效的策略。通过递进式的引导和修正，可以逐步强化模型的输出，使其更好地满足实际应用的要求。这种方法尤其适用于生成复杂结构化数据或在需要高精度输出的场景下，帮助我们从模型中获取更为准确和可靠的内容。

在实际应用中，我们不妨尝试这种多轮对话的方式，与模型展开更加深入的交流，以获得理想的生成结果。

深入RAG：从基础到高级应用的系统性学习

在当前人工智能领域，检索增强生成（RAG，Retrieval-Augmented Generation）正在迅速成为提高生成式AI性能的重要技术。RAG结合了信息检索和生成模型的优势，使得AI在生成内容时不仅依赖训练数据，还能从外部数据库或搜索引擎实时获取相关信息，从而生成更加准确、上下文相关的内容。

为了让更多人掌握RAG的核心技术，我不仅总结了自己的实战经验，还特别邀请到了一位谷歌认证的开发者，参与到我们的课程中，为大家分享他在RAG领域的深厚知识和丰富实战经验。

实战出真知：拆解RAG的核心

通过实际项目投标，我对RAG的理解不仅停留在理论层面，而是深入到了它的实际应用中。我发现，很多技术细节和优化策略是在真实的项目中才能得到验证和调整的。例如，如何在高负载的环境下保持检索和生成的平衡，如何优化检索模块以提高生成内容的相关性，这些都是RAG项目中需要精心设计和调优的关键点。

在这些项目中，我逐步总结出了一套行之有效的方法论。这不仅包括RAG的基础知识，如如何构建高效的检索系统，如何结合生成模型，还涉及到如何在不同场景下优化RAG，使其能够更好地满足特定需求。例如，在客户服务、内容生成、自动化文档编写等领域，RAG都展现出了巨大的潜力。

系统化学习：通过网课让更多人掌握RAG高级应用

为了让更多人了解和掌握RAG的高级功能，我决定将这些宝贵的经验和知识整理成系统化的课程，通过网课的形式进行分享。这不仅是一门技术课程，更是一次从实践到理论的深度探索。在此过程中，我们邀请的谷歌认证开发者将为课程的内容增色不少，帮助你更好地理解RAG技术的方方面面。

在这个课程中，你将学习到：

  • RAG的基础原理：理解RAG的构成要素以及它如何在生成任务中引入检索的能力。
  • 实际项目拆解：通过真实项目案例，逐步拆解RAG的架构、功能实现以及优化策略。
  • 高级功能优化：如何通过调优检索模块、生成模型和数据处理流程，使RAG在复杂场景下发挥最佳效果。
  • 项目实战练习：通过实际案例练习，巩固所学知识，掌握RAG在不同行业中的应用方法。

为什么选择这个课程？

  1. 真实案例驱动：课程内容基于实际项目经验，深入浅出地讲解RAG的各个细节。
  2. 专家加持：我们邀请到了一位谷歌认证开发者，为课程内容的深度和广度提供保障。
  3. 从基础到高级：无论你是初学者还是有经验的开发者，课程都会帮助你提升技能，掌握RAG的高级应用。
  4. 灵活学习模式：通过网课的形式，你可以根据自己的节奏学习，充分利用碎片时间进行技能提升。

结语

RAG技术的发展正在为生成式AI打开新的可能性大门。如果你对前沿技术感兴趣，或者正在寻找提升自己AI技能的途径，这门课程将是你的不二选择。通过系统的学习和实战演练，你将深入掌握RAG的核心，学会如何将它应用到实际项目中，甚至在自己的领域中创造出新的价值。

希望通过这门课程，能让更多人了解RAG，掌握这一强大技术，并将其应用到工作和项目中，为未来的智能应用铺平道路。加入我们，一起探索RAG的无限可能！

avatar
文章
阅读
粉丝