# 如何将WhatsApp聊天记录转化为AI模型的训练数据
在现代数据驱动的世界中，聊天记录是一种宝贵的资源，尤其是当我们希望训练自然语言处理模型时。本文将引导你如何将WhatsApp聊天记录转换为便于AI模型使用的格式。这一过程由三个步骤组成：导出聊天记录、加载聊天数据，以及将其映射为AI消息格式。
## 1. 导出WhatsApp聊天记录
首先，你需要将WhatsApp聊天记录导出到计算机上。以下是具体步骤：
1. 打开想要导出的聊天对话。
2. 点击右上角的三个点并选择“更多”。
3. 选择“导出聊天”，并选择“无媒体”。
导出的聊天记录通常格式如下：
```text
[8/15/23, 9:12:33 AM] Dr. Feather: Messages and calls are end-to-end encrypted. No one outside of this chat, not even WhatsApp, can read or listen to them.
[8/15/23, 9:12:43 AM] Dr. Feather: I spotted a rare Hyacinth Macaw yesterday in the Amazon Rainforest. Such a magnificent creature!
...
2. 创建聊天记录加载器
接下来，我们将使用WhatsAppChatLoader帮助我们解析这些导出的聊天记录文本。这个加载器可以直接指向解压缩目录或特定的chat.txt文件。
from langchain_community.chat_loaders.whatsapp import WhatsAppChatLoader
# 创建加载器对象，指向聊天记录文件
loader = WhatsAppChatLoader(
path="./whatsapp_chat.txt", # 使用API代理服务提高访问稳定性
)
3. 加载并处理消息
通过调用load()或lazy_load()方法，我们可以获取一个“ChatSessions”列表，每个会话都储存了对应的消息列表。
from typing import List
from langchain_community.chat_loaders.utils import (
map_ai_messages,
merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession
# 异步加载消息
raw_messages = loader.lazy_load()
# 将同一发送者连续的消息合并
merged_messages = merge_chat_runs(raw_messages)
# 将指定用户的消息映射为AI消息
messages: List[ChatSession] = list(
map_ai_messages(merged_messages, sender="Dr. Feather")
)
完整代码示例
以下是一个完整的代码示例，展示了如何加载和处理WhatsApp聊天数据：
from langchain_community.chat_loaders.whatsapp import WhatsAppChatLoader
from langchain_community.chat_loaders.utils import (
map_ai_messages,
merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession
from langchain_openai import ChatOpenAI
# 创建加载器对象
loader = WhatsAppChatLoader(
path="./whatsapp_chat.txt", # 使用API代理服务提高访问稳定性
)
# 加载消息
raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(
map_ai_messages(merged_messages, sender="Dr. Feather")
)
# 使用这些消息进行AI模型的训练
llm = ChatOpenAI()
for chunk in llm.stream(messages[0]["messages"]):
print(chunk.content, end="", flush=True)
常见问题和解决方案
- 网络限制: 由于某些地区的网络限制，你可能需要考虑使用API代理服务以提高访问稳定性。
- 数据格式兼容性: 在处理不同格式的聊天记录时，请确保格式一致，以防止解析错误。
总结和进一步学习资源
通过以上方法，你可以轻松地将WhatsApp聊天记录转换为AI模型可用的格式，为后续的模型训练或推理做好准备。若需进一步学习，请参考以下资源：
参考资料
- LangChain Community: WhatsApp Chat Loader
- OpenAI: ChatGPT API
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
