引言
在处理自然语言文本时，文本的分割是一个常见问题。为了保持语义相关性，我们希望在段落、句子甚至词语的边界进行分割。这篇文章将介绍一种推荐的文本分割器，它递归地根据一系列字符进行分割，直到文本块足够小。我们将使用 langchain-text-splitters 库的 RecursiveCharacterTextSplitter 来实现这一功能。
主要内容
1. 递归分割机制
RecursiveCharacterTextSplitter 是一种基于字符的文本分割器。它按照指定的字符顺序分割文本，尝试在段落、句子或空格上进行拆分。默认的字符列表 ["\n\n", "\n", " ", ""] 允许在段落和句子之间优先保持文本完整。
参数说明
chunk_size: 定义每个文本块的最大字符数。chunk_overlap: 定义文本块之间的重叠字符数，有助于在分块时减少信息丢失。length_function: 用于计算文本块大小的函数。is_separator_regex: 指定分隔符列表是否为正则表达式。
2. 非边界文字处理
一些语言（如中文、日文、泰语）没有明显的词边界。为避免在这些语言中错误地分割单词，可以在分隔符列表中加入额外的标点符号和空白字符。
示例分隔符列表
separators=[
"\n\n",
"\n",
" ",
".",
",",
"\u200b", # Zero-width space
"\uff0c", # Fullwidth comma
"\u3001", # Ideographic comma
"\uff0e", # Fullwidth full stop
"\u3002", # Ideographic full stop
"",
]
代码示例
以下是如何使用 RecursiveCharacterTextSplitter 进行文本分割的完整代码示例：
%pip install -qU langchain-text-splitters
from langchain_text_splitters import RecursiveCharacterTextSplitter
# 加载示例文档
with open("state_of_the_union.txt") as f:
state_of_the_union = f.read()
# 使用API代理服务提高访问稳定性
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=100,
chunk_overlap=20,
length_function=len,
is_separator_regex=False,
)
# 创建文档
texts = text_splitter.create_documents([state_of_the_union])
print(texts[0])
print(texts[1])
# 获取分割后的文本
split_texts = text_splitter.split_text(state_of_the_union)[:2]
print(split_texts)
常见问题和解决方案
1. 访问API时的网络问题
由于某些地区的网络限制，开发者可能需要使用API代理服务以确保稳定访问。建议在使用API时，无论是通过HTTP请求或其他方式，考虑这些限制。
2. 非标准文本的分割
对于没有明确词边界的语言，如中文和日文，调整分隔符列表以包含适当的标点和空白字符。
总结和进一步学习资源
RecursiveCharacterTextSplitter 是一个强大且灵活的文本分割工具，适用于多种语言和文本格式。通过调整参数和分隔符列表，可以实现更智能的文本分割。
参考资料
结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
