# 轻松导出WeChat聊天记录以用于AI模型微调
在使用WeChat的过程中，你是否曾想过提取聊天记录，用于AI模型的微调或Few-Shot示例选择？虽然目前还没有直接导出微信聊天记录的方法，但通过本文所述的步骤，你可以轻松完成这项任务。
## 引言
本文旨在帮助开发者创建一个可以将复制的WeChat消息转换为LangChain消息格式的自定义聊天加载器。过程简单、快捷，让你不再为获取微信聊天记录而烦恼。
## 主要内容
### 1. 创建消息转储
首先，我们需要在本地电脑上创建一个包含选择消息的.txt文件。使用微信桌面应用选择最多100条消息，然后复制并粘贴到一个文件中，命名为`wechat_chats.txt`。
#### 示例内容
```text
%%writefile wechat_chats.txt
女朋友 2023/09/16 2:51 PM
天气有点凉
男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。
女朋友 2023/09/16 3:06 PM
忙什么呢
男朋友 2023/09/16 3:06 PM
今天只干成了一件像样的事
那就是想你
女朋友 2023/09/16 3:06 PM
[动画表情]
2. 定义聊天加载器
我们将定义一个名为WeChatChatLoader的自定义加载器，用于解析上述文本文件。以下是Python代码示例：
import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage
logger = logging.getLogger()
class WeChatChatLoader(chat_loaders.BaseChatLoader):
def __init__(self, path: str):
self.path = path
self._message_line_regex = re.compile(
r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))",
)
def _append_message_to_results(self, results: List, current_sender: str, current_timestamp: str, current_content: List[str]):
content = "\n".join(current_content).strip()
if not re.match(r"\[.*\]", content):
results.append(
HumanMessage(
content=content,
additional_kwargs={
"sender": current_sender,
"events": [{"message_time": current_timestamp}],
},
)
)
return results
def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
with open(file_path, "r", encoding="utf-8") as file:
lines = file.readlines()
results: List[BaseMessage] = []
current_sender = None
current_timestamp = None
current_content = []
for line in lines:
if re.match(self._message_line_regex, line):
if current_sender and current_content:
results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)
current_sender, current_timestamp = re.match(self._message_line_regex, line).groups()
current_content = []
else:
current_content.append(line.strip())
if current_sender and current_content:
results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)
return chat_loaders.ChatSession(messages=results)
def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
yield self._load_single_chat_session_from_txt(self.path)
# 使用API代理服务提高访问稳定性
3. 初始化加载器并加载消息
使用WeChatChatLoader类，指向我们之前创建的文本文件并加载消息：
loader = WeChatChatLoader(path="./wechat_chats.txt")
from typing import List
from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from langchain_core.chat_sessions import ChatSession
raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="男朋友"))
代码示例
在这段代码中，我们将连续来自同一发送者的消息合并，并转换“男朋友”的消息为AI消息。
常见问题和解决方案
1. 文本格式问题
确保从微信复制的文本格式与我们所需的格式严格匹配，否则可能导致解析失败。
2. API访问问题
由于某些地区的网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。
总结和进一步学习资源
通过简单的步骤，我们可以轻松将微信聊天记录转化为AI模型可用的格式。这为进一步的模型微调和少样本学习开辟了道路。
进一步学习资源
参考资料
- LangChain官方文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
