# 轻松转换：如何将Discord聊天记录加载为LangChain消息
在日常使用中，Discord是一个非常流行的聊天平台，许多人想要利用其聊天记录进行数据分析或机器学习模型的训练。然而，Discord并没有提供一种直接的方法来将聊天记录导出为结构化数据格式。在本文中，我将向您展示如何将Discord聊天记录转换为LangChain消息。这一过程分为几个简单的步骤，最终你将能够利用这些消息进行各种AI应用。
## 1. 引言
本文介绍了一种将Discord聊天记录转换为LangChain消息的简单方法。我们将介绍如何创建一个聊天加载器，将复制粘贴的消息转换为结构化的LangChain消息。
## 2. 主要内容
### 步骤1：创建消息文本文件
首先，我们需要将Discord中的聊天记录复制并粘贴到一个文本文件中。下面是一个示例格式：
```plaintext
talkingtower — 08/15/2023 11:10 AM
Love music! Do you like jazz?
reporterbob — 08/15/2023 9:27 PM
Yes! Jazz is fantastic. Ever heard this one?
将这些文本保存为discord_chats.txt文件。
步骤2：定义聊天加载器
接下来，我们定义一个加载器类来解析这些聊天记录：
import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage
logger = logging.getLogger()
class DiscordChatLoader(chat_loaders.BaseChatLoader):
def __init__(self, path: str):
self.path = path
self._message_line_regex = re.compile(
r"(.+?) — (\w{3,9} \d{1,2}(?:st|nd|rd|th)?(?:, \d{4})? \d{1,2}:\d{2} (?:AM|PM)|Today at \d{1,2}:\d{2} (?:AM|PM)|Yesterday at \d{1,2}:\d{2} (?:AM|PM))",
flags=re.DOTALL,
)
def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
with open(file_path, "r", encoding="utf-8") as file:
lines = file.readlines()
results: List[BaseMessage] = []
current_sender = None
current_timestamp = None
current_content = []
for line in lines:
if re.match(self._message_line_regex, line):
if current_sender and current_content:
results.append(
HumanMessage(
content="".join(current_content).strip(),
additional_kwargs={"sender": current_sender, "events": [{"message_time": current_timestamp}]},
)
)
current_sender, current_timestamp = line.split(" — ")[:2]
current_content = [line[len(current_sender) + len(current_timestamp) + 4 :].strip()]
else:
current_content.append("\n" + line.strip())
if current_sender and current_content:
results.append(
HumanMessage(
content="".join(current_content).strip(),
additional_kwargs={"sender": current_sender, "events": [{"message_time": current_timestamp}]},
)
)
return chat_loaders.ChatSession(messages=results)
def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
yield self._load_single_chat_session_from_txt(self.path)
# 使用API代理服务提高访问稳定性
步骤3：加载消息
我们初始化加载器并加载消息：
loader = DiscordChatLoader(path="./discord_chats.txt")
raw_messages = loader.lazy_load()
from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from typing import List
from langchain_core.chat_sessions import ChatSession
# 合并来自同一发送者的连续消息
merged_messages = merge_chat_runs(raw_messages)
# 将来自"talkingtower"的消息标记为AI消息
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="talkingtower"))
# Output messages for verification
print(messages)
3. 常见问题和解决方案
-
无法解析消息格式：确保复制的文本在Discord中没有格式错误。确认时间戳和用户名的格式和正则表达式一致。
-
消息中断或者不完整：检查文本文件是否有损坏或者字符集问题（例如非UTF-8编码）。
4. 总结和进一步学习资源
通过这篇文章，我们展示了如何创建一个简单的Discord聊天加载器，将聊天记录转换为LangChain消息。这些消息可以用于进一步的AI模型训练或分析。以下是一些可供进一步学习的资源：
5. 参考资料
- LangChain API文档
- Python官方文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
