用python进行精细中文分句(基于正则表达式),HarvestText:文本挖掘和预处理工具

663 阅读1分钟

    1.用python进行精细中文分句(基于正则表达式)

中文分句,乍一看是一个挺简单的工作,一般我们只要找到一个 【。!?】 这类的典型断句符断开就可以了吗。
对于简单的文本这个做法是已经可行了(比如我看到这篇文章里有个简洁的实现方法

自然语言处理学习3:中文分句re.split(),jieba分词和词频统计FreqDist_zhuzuwei的博客-CSDN博客_jieba 分句

NLTK使用笔记,NLTK是常用的Python自然语言处理库

然而当我处理小说文本时,发现了这种思路的漏洞:

  • 对于有双引号的句子,分句结果应该延后到双引号结束后,比如:

今天上午,我去“秘密基地”了。

  • 省略号也是常见的句子分隔符,然而它超过了一个字符,用re.split()的方法就略有不便。

所以,这里我提供一个更加精细的解决方法,可以解决上面的问题:

# 版本为python3,