将文本中的数字转换为单词或删除这些数字
删除文本中出现的标点符号、重音符号以及其他变音符号
删除文本中的空白区域
扩展文本中出现的缩写
删除文本中出现的终止词、稀疏词和特定词
文本规范化（text canonicalization）
下面将详细描述上述文本正则化步骤。
将文本中出现的字母转化为小写
示例1：将字母转化为小写
Python 实现代码：
输出：
删除文本中出现的数字
如果文本中的数字与文本分析无关的话，那就删除这些数字。通常，正则化表达式可以帮助你实现这一过程。
示例2：删除数字
Python 实现代码：
输出：
删除文本中出现的标点
以下示例代码演示如何删除文本中的标点符号，如 [!”#$%&’()*+,-./:;<=>?@[]^_`{|}~] 等符号。
示例3：删除标点
Python 实现代码：
输出：
Thisisan exampleofstringwithpunctuation
删除文本中出现的空格
可以通过 strip()函数移除文本前后出现的空格。
示例4：删除空格
Python 实现代码：
输出：
‘astringexample’
符号化（Tokenization）
符号化是将给定的文本拆分成每个带标记的小模块的过程，其中单词、数字、标点及其他符号等都可视为是一种标记。在下表中（Tokenization sheet），罗列出用于实现符号化过程的一些常用工具。
删除文本中出现的终止词
终止词（Stop words） 指的是“a”，“a”，“on”，“is”，“all”等语言中最常见的词。这些词语没什么特别或重要意义，通常可以从文本中删除。一般使用 Natural Language Toolkit（NLTK） 来删除这些终止词，这是一套专门用于符号和自然语言处理统计的开源库。
示例7：删除终止词
实现代码：
输出：
[‘NLTK’, ‘leading’, ‘platform’, ‘building’, ‘Python’, ‘programs’, ‘work’, ‘human’, ‘language’, ‘data’, ‘.’]
此外，scikit-learn 也提供了一个用于处理终止词的工具：
fromsklearn.feature_extraction.stop_wordsimportENGLISH_STOP_WORDS
同样，spaCy 也有一个类似的处理工具：
fromspacy.lang.en.stop_wordsimportSTOP_WORDS
删除文本中出现的稀疏词和特定词
在某些情况下，有必要删除文本中出现的一些稀疏术语或特定词。考虑到任何单词都可以被认为是一组终止词，因此可以通过终止词删除工具来实现这一目标。
词干提取（Stemming）
词干提取是一个将词语简化为词干、词根或词形的过程（如books-book，looked-look）。当前主流的两种算法是 Porter stemming 算法（删除单词中删除常见的形态和拐点结尾） 和 Lancaster stemming 算法。
示例 8：使用 NLYK 实现词干提取
实现代码：
输出：
There are severtypeofstem algorithm.
词形还原（Lemmatization）
词形还原的目的，如词干过程，是将单词的不同形式还原到一个常见的基础形式。与词干提取过程相反，词形还原并不是简单地对单词进行切断或变形，而是通过使用词汇知识库来获得正确的单词形式。
当前常用的词形还原工具库包括： NLTK（WordNet Lemmatizer），spaCy，TextBlob，Pattern，gensim，Stanford CoreNLP，基于内存的浅层解析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架构（GATE），Illinois Lemmatizer 和 DKPro Core。
示例 9：使用 NLYK 实现词形还原
实现代码：
输出：
be havedolanguagecity mouse
词性标注（POS）
词性标注旨在基于词语的定义和上下文意义，为给定文本中的每个单词（如名词、动词、形容词和其他单词） 分配词性。当前有许多包含 POS 标记器的工具，包括NLTK，spaCy，TextBlob，Pattern，Stanford CoreNLP，基于内存的浅层分析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架构（GATE），FreeLing，Illinois Part of Speech Tagger 和DKPro Core。
示例 10：使用 TextBlob 实现词性标注
实现代码：
输出：
[(‘Parts’, u’NNS’), (‘of’, u’IN’), (‘speech’, u’NN’), (‘examples’, u’NNS’), (‘an’, u’DT’), (‘article’, u’NN’), (‘to’, u’TO’), (‘write’, u’VB’), (‘interesting’, u’VBG’), (‘easily’, u’RB’), (‘and’, u’CC’), (‘of’, u’IN’)]
词语分块（浅解析）
词语分块是一种识别句子中的组成部分（如名词、动词、形容词等），并将它们链接到具有不连续语法意义的高阶单元（如名词组或短语、动词组等） 的自然语言过程。常用的词语分块工具包括：NLTK，TreeTagger chunker，Apache OpenNLP，文本工程通用架构（GATE），FreeLing。
示例 11：使用 NLYK 实现词语分块
第一步需要确定每个单词的词性。
实现代码：
输出：
[(‘A’, u’DT’), (‘black’, u’JJ’), (‘television’, u’NN’), (‘and’, u’CC’), (‘a’, u’DT’), (‘white’, u’JJ’), (‘stove’, u’NN’), (‘were’, u’VBD’), (‘bought’, u’VBN’), (‘for’, u’IN’), (‘the’, u’DT’), (‘new’, u’JJ’), (‘apartment’, u’NN’), (‘of’, u’IN’), (‘John’, u’NNP’)]
第二部就是进行词语分块
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
五、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！ 最后祝你好运！！！
