[轻松转换WeChat聊天记录为LangChain消息：一键获取深度学习样本]

用户38023559900
195 阅读3分钟

引言

在AI模型的训练和微调中，获取真实的对话数据集是一项重要工作。然而，像WeChat这样的即时通讯工具由于其信息安全和隐私政策，通常不提供直接导出聊天记录的功能。本篇文章将教你如何将WeChat聊天记录转换为LangChain格式的消息，以便用于模型微调或Few-shot学习。通过简单的Python代码，我们将实现一个自定义的聊天记录加载器，轻松地处理从WeChat复制的内容。

主要内容

消息导出

首先，我们需要从WeChat桌面应用中导出消息。你可以通过鼠标拖动或右键单击选择不超过100条消息，然后使用CMD/Ctrl + C复制。

创建聊天txt文件

将复制的聊天记录粘贴到本地计算机上的一个文本文件中。例如，将其保存为wechat_chats.txt。

女朋友 2023/09/16 2:51 PM
天气有点凉

男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。

定义聊天加载器

接下来，我们需要定义一个WeChat聊天加载器，以便将文本文件中的聊天记录转换为LangChain消息。以下是实现代码：

import logging
import re
from typing import Iterator, List

from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage

logger = logging.getLogger()

class WeChatChatLoader(chat_loaders.BaseChatLoader):
    def __init__(self, path: str):
        self.path = path
        self._message_line_regex = re.compile(
            r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))"
        )

    def _append_message_to_results(
        self,
        results: List,
        current_sender: str,
        current_timestamp: str,
        current_content: List[str],
    ):
        content = "\n".join(current_content).strip()
        if not re.match(r"\[.*\]", content):
            results.append(
                HumanMessage(
                    content=content,
                    additional_kwargs={
                        "sender": current_sender,
                        "events": [{"message_time": current_timestamp}],
                    },
                )
            )
        return results

    def _load_single_chat_session_from_txt(
        self, file_path: str
    ) -> chat_loaders.ChatSession:
        with open(file_path, "r", encoding="utf-8") as file:
            lines = file.readlines()

        results: List[BaseMessage] = []
        current_sender = None
        current_timestamp = None
        current_content = []
        for line in lines:
            if re.match(self._message_line_regex, line):
                if current_sender and current_content:
                    results = self._append_message_to_results(
                        results, current_sender, current_timestamp, current_content
                    )
                current_sender, current_timestamp = re.match(
                    self._message_line_regex, line
                ).groups()
                current_content = []
            else:
                current_content.append(line.strip())

        if current_sender and current_content:
            results = self._append_message_to_results(
                results, current_sender, current_timestamp, current_content
            )

        return chat_loaders.ChatSession(messages=results)

    def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
        yield self._load_single_chat_session_from_txt(self.path)

代码示例

我们将通过以下代码示例来加载和转换消息：

from typing import List
from langchain_community.chat_loaders.utils import (
    map_ai_messages,
    merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession

loader = WeChatChatLoader(
    path="./wechat_chats.txt",  # 使用API代理服务提高访问稳定性
)

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="男朋友"))

# 打印结果
print(messages)

常见问题和解决方案

  1. 消息格式不正确：确保从WeChat中复制的消息按照文本格式粘贴，并且符合正则表达式的要求。

  2. 转换失败：验证文本文件路径是否正确，并检查是否存在非文本消息（如图片、表情）影响解析。

总结和进一步学习资源

通过本文的步骤，你可以有效地将WeChat聊天记录转换为LangChain所需的格式。这不仅在数据获取方面带来了便利，也为后续的模型微调和Few-shot学习提供了良好的基础。

进一步学习可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝