LangChain记忆机制学习笔记 | 豆包MarsCode AI刷题

艾伦也格尔
151 阅读4分钟

LangChain记忆机制学习笔记 | 豆包MarsCode AI刷题

在LangChain实战课程中，我们深入探讨了记忆机制的应用，了解了如何通过对话链（Conversation Chain）来增强大语言模型的交互能力。记忆机制对于构建更加智能、连贯的对话系统至关重要，尤其是对于需要保持上下文信息的应用场景。本文将详细解析LangChain中的不同记忆机制，并结合示例代码进行分析，探讨如何优化记忆的存储与调用。

1. 什么是记忆机制？

在默认情况下，LLM（大型语言模型）和代理通常是无状态的，每次调用模型时，它并不会记得之前的对话内容。每次对话都是独立的。因此，构建具有记忆能力的对话系统至关重要。通过引入记忆机制，模型能够“记住”之前的对话内容，并在后续的对话中利用这些信息做出更符合上下文的回应。

2. ConversationChain及其对话格式

我们在LangChain中使用了ConversationChain，它是一个与记忆机制紧密结合的工具。它的基本功能是提供包含AI前缀和人类前缀的对话摘要格式，使得模型能够根据历史对话生成合适的响应。通过示例代码：

from langchain import OpenAI
from langchain.chains import ConversationChain

llm = OpenAI(
    temperature=0.5,
    model_name="gpt-3.5-turbo-instruct"
)

conv_chain = ConversationChain(llm=llm)

print(conv_chain.prompt.template)

输出结果显示对话的模板包含了{history}和{input}这两个参数，其中{history}记录了历史对话，{input}是当前输入的内容。这样一来，模型便可以将历史对话作为上下文传递给模型，生成更加连贯的回答。

3. 使用ConversationBufferMemory实现简单记忆

ConversationBufferMemory是LangChain中实现最简单记忆机制的工具。它会将每轮对话的内容存储在内存中，并作为提示传递给模型。在下面的示例中，我们模拟了一个生日花束推荐的对话场景：

from langchain import OpenAI
from langchain.chains import ConversationChain
from langchain.chains.conversation.memory import ConversationBufferMemory

llm = OpenAI(temperature=0.5, model_name="gpt-3.5-turbo-instruct")

conversation = ConversationChain(
    llm=llm,
    memory=ConversationBufferMemory()
)

conversation("我姐姐明天要过生日，我需要一束生日花束。")
print("第一次对话后的记忆:", conversation.memory.buffer)

在第一轮对话中，系统记住了用户的需求（购买生日花束），并提供了合适的建议。在后续的对话中，系统会根据前一次的历史记忆继续进行对话。这种方式可以有效保证对话的连贯性。

4. 处理过长历史记录：ConversationBufferWindowMemory

当对话轮次增多时，历史记录会变得过长，导致Token数量过多，影响模型的响应时间和成本。为了减少Token的使用，我们可以使用ConversationBufferWindowMemory，该方法仅保留最近的若干轮对话内容，通过设置k值限制记忆的长度。代码示例如下：

from langchain import OpenAI
from langchain.chains import ConversationChain
from langchain.chains.conversation.memory import ConversationBufferWindowMemory

llm = OpenAI(temperature=0.5, model_name="gpt-3.5-turbo-instruct")

conversation = ConversationChain(
    llm=llm,
    memory=ConversationBufferWindowMemory(k=1)
)

conversation("我姐姐明天要过生日，我需要一束生日花束。")
conversation("她喜欢粉色玫瑰，颜色是粉色的。")
conversation("我又来了，还记得我昨天为什么要来买花吗？")

通过设置k=1，该记忆机制只保留最近的一轮对话，这样能够有效控制Token数量的增长。不过，这种方法的缺点是，它可能会“忘记”更早的对话内容。

5. 使用ConversationSummaryMemory优化Token使用

对于长对话，ConversationSummaryMemory通过对话总结来减少Token的消耗。它在每次新的互动发生时，对历史对话进行总结，并将总结结果传递给模型。这样既能保留对话的核心信息，又能避免Token过度使用。示例代码如下：

from langchain.chains.conversation.memory import ConversationSummaryMemory

conversation = ConversationChain(
    llm=llm,
    memory=ConversationSummaryMemory(llm=llm)
)

通过这种方式，即使对话非常长，模型依然可以通过汇总信息进行有效的回答，而不至于消耗过多的Token。

6. 结合两者的优点：ConversationSummaryBufferMemory

ConversationSummaryBufferMemory是一个混合记忆机制，结合了对话总结和缓冲窗口的优势。在对话的前期，它会保留原始内容，而在对话过长时，会对早期的互动进行总结，以节省Token。这种机制为我们提供了较大的灵活性，适用于长时间的对话应用场景。代码示例如下：

from langchain.chains.conversation.memory import ConversationSummaryBufferMemory

conversation = ConversationChain(
    llm=llm,
    memory=ConversationSummaryBufferMemory(
        llm=llm,
        max_token_limit=300)
)

这种方法通过设定max_token_limit来控制Token的使用，同时保证了较长对话中核心信息的保留。

7. 结论与思考

通过以上四种不同的记忆机制（ConversationBufferMemory、ConversationBufferWindowMemory、ConversationSummaryMemory、ConversationSummaryBufferMemory），我们可以根据不同的应用需求选择合适的记忆方式。对于需要长时间、长期对话的应用，ConversationSummaryMemory和ConversationSummaryBufferMemory具有明显的优势，能够有效减少Token的使用，而ConversationBufferWindowMemory适合短期、低Token消耗的应用。

在实际开发中，我们需要根据具体的对话场景来调整记忆机制的选择，以提高系统的效率和响应速度。

avatar
文章
阅读
粉丝