LangChain中的记忆机制 | 豆包MarsCode AI刷题

临沂十八中
267 阅读5分钟

在构建聊天机器人时，记忆机制是非常重要的，因为它决定了机器人的上下文理解能力。LangChain作为一个强大的工具提供了多种记忆机制，通过与大语言模型（LLM）结合，可以在对话中实现不同的记忆效果。在这篇笔记中，我将总结LangChain中的四种主要记忆机制，并给出相应的代码示例。

1. 无记忆对话（默认状态）

在没有任何记忆机制的情况下，模型的每次响应都是独立的，模型不会记住之前的对话内容。例如，在以下代码中，我们看到的 ConversationChain 没有使用任何记忆，模型只能基于每次的输入进行响应。

from langchain import OpenAI
from langchain.chains import ConversationChain

# 初始化大语言模型
llm = OpenAI(
    temperature=0.5,
    model_name="gpt-3.5-turbo-instruct"
)

# 初始化对话链
conv_chain = ConversationChain(llm=llm)

# 开始对话
result = conv_chain("我姐姐明天要过生日，我需要一束生日花束。")
print(result)

解释：

在此例中，模型会根据最新的输入生成响应，但它并不知道你之前所说的内容。

2. 使用 ConversationBufferMemory（缓冲记忆）

ConversationBufferMemory 是最简单的记忆机制，它会保存整个对话历史并在每次调用时将其传递给模型。这使得模型能够记住所有的对话内容，但是随着对话轮次增多，记忆内容会变得非常庞大，可能导致性能下降。

from langchain import OpenAI
from langchain.chains import ConversationChain
from langchain.chains.conversation.memory import ConversationBufferMemory

# 初始化大语言模型
llm = OpenAI(
    temperature=0.5,
    model_name="gpt-3.5-turbo-instruct")

# 初始化对话链
conversation = ConversationChain(
    llm=llm,
    memory=ConversationBufferMemory()
)

# 第一次对话
conversation("我姐姐明天要过生日，我需要一束生日花束。")
print("第一次对话后的记忆:", conversation.memory.buffer)

# 第二次对话
conversation("她喜欢粉色玫瑰，颜色是粉色的。")
print("第二次对话后的记忆:", conversation.memory.buffer)

# 第三次对话
conversation("我又来了，还记得我昨天为什么要来买花吗？")
print("第三次对话后的记忆:", conversation.memory.buffer)

解释：

在这个例子中，ConversationBufferMemory 会将每一次的对话记录下来，确保模型在对话中具有完整的上下文。不过，这种方式对于长对话会消耗较多的Token。

3. 使用 ConversationBufferWindowMemory（窗口记忆）

ConversationBufferWindowMemory 仅保存最近的若干次对话历史，帮助我们避免过多的Token消耗。这种机制特别适用于对话历史较长但我们只关心最近对话内容的场景。通过 k 参数，我们可以设置保留最近多少轮对话。

from langchain import OpenAI
from langchain.chains import ConversationChain
from langchain.chains.conversation.memory import ConversationBufferWindowMemory

# 创建大语言模型实例
llm = OpenAI(
    temperature=0.5,
    model_name="gpt-3.5-turbo-instruct")

# 初始化对话链
conversation = ConversationChain(
    llm=llm,
    memory=ConversationBufferWindowMemory(k=1)
)

# 第一次对话
conversation("我姐姐明天要过生日，我需要一束生日花束。")
# 第二次对话
conversation("她喜欢粉色玫瑰，颜色是粉色的。")
# 第三次对话
result = conversation("我又来了，还记得我昨天为什么要来买花吗？")
print(result)

解释：

在此示例中，k=1 表示模型只记住最近一次对话。因此，在第三轮对话时，模型仅能记得第二轮的内容，而忽略了第一轮的详细信息。这对于减少Token的使用非常有效，但可能不适合需要长期记忆的场景。

4. 使用 ConversationSummaryMemory（总结记忆）

ConversationSummaryMemory 不会直接保存每一轮的对话，而是会通过汇总之前的对话历史来减少Token的使用。汇总是由另一个LLM驱动的，这意味着模型会生成一个简洁的摘要，传递给当前的对话。

from langchain.chains.conversation.memory import ConversationSummaryMemory

# 初始化对话链
conversation = ConversationChain(
    llm=llm,
    memory=ConversationSummaryMemory(llm=llm)
)

# 第一次对话
conversation("我姐姐明天要过生日，我需要一束生日花束。")

# 第二次对话
conversation("她喜欢粉色玫瑰，颜色是粉色的。")

# 第三次对话
result = conversation("我又来了，还记得我昨天为什么要来买花吗？")
print(result)

解释：

通过对话总结，ConversationSummaryMemory 能够在对话历史变长时有效地节省Token，但它依赖于LLM的汇总能力。对于长时间的对话，这种方式非常有效。

5. 使用 ConversationSummaryBufferMemory（总结缓冲记忆）

ConversationSummaryBufferMemory 是一种结合了 ConversationSummaryMemory 和 ConversationBufferWindowMemory 的混合记忆方式。它在保留最近对话的同时，对于较早的对话进行总结，从而优化Token的使用。

from langchain.chains.conversation.memory import ConversationSummaryBufferMemory

# 初始化对话链
conversation = ConversationChain(
    llm=llm,
    memory=ConversationSummaryBufferMemory(
        llm=llm,
        max_token_limit=300)
)

# 第一次对话
conversation("我姐姐明天要过生日，我需要一束生日花束。")

# 第二次对话
conversation("她喜欢粉色玫瑰，颜色是粉色的。")

# 第三次对话
result = conversation("我又来了，还记得我昨天为什么要来买花吗？")
print(result)

解释：

ConversationSummaryBufferMemory 在保持最近的对话内容时，对过期的对话进行汇总，以节省Token。它是目前为止最灵活的一种记忆机制，适用于需要同时回忆早期互动且关心Token消耗的场景。

总结

LangChain 提供了多种不同的记忆机制，适应不同场景的需求：

  • 无记忆对话：每次对话都是独立的。
  • ConversationBufferMemory：保留完整的对话历史，但可能会导致性能下降。
  • ConversationBufferWindowMemory：仅保留最近的对话，适合简短的对话。
  • ConversationSummaryMemory：通过对话汇总节省Token，适用于长对话。
  • ConversationSummaryBufferMemory：结合汇总和窗口记忆，提供了更大的灵活性。

在实际应用中，选择合适的记忆机制可以有效提升聊天机器人的响应速度和用户体验，同时降低Token消耗。

avatar
文章
阅读
粉丝