注：
本文部分引用转载了CSDN博主「三个石头2016」「Waldenz」的原创文章，遵循 CC 4.0 BY-SA 版权协议，载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/qiang12qiang12/article/details/81589386
https://blog.csdn.net/qiang12qiang12/article/details/80792190
https://blog.csdn.net/enter89/article/details/80619805
本文引用了jieba官网的介绍。原地址连接：
https://pypi.org/project/jieba/#files
前言
四种中文分词方法：
一.基于规则的中文分词
正向最大匹配法 逆向最大匹配法 双向最大匹配法
缺点：严重依赖词典，无法很好地处理分词歧义和未登录词
优点：由于这种方法简单、速度快、且分词效果基本可以满足需求
原理：正向表示对句子从左到右（或从右到左）选择词典中最长的词条进行匹配，获得分词结果。 1、统计分词词典，确定词典中最长词条的字符m； 2、从左向右（或从右到左）取待切分语句的m个字符作为匹配字段，查找词典，如果匹配成功，则作为一个切分后的词语，否则，去掉待匹配字符的最后一个（最前面的一个）继续查找词典，重复上述步骤直到切分出所有词语。（双向：将正向最大匹配和逆向匹配得到的分词结果进行比较，按照最大匹配原则，选择切分总词数最少的作为最终分词结果。）
说明：具体应用中需要去除停用词
总结：词典简单高效，但是词典构建工作量巨大，对于新词切分总慢一步，很难通过词典覆盖到所有词
（鉴于我目前并没有现成的词典，使用此方法分词的可行性较低，除非能找到现成的手机消费者评论词典，但是准确度一定会下降）
二.基于统计的中文分词
三.基于深度学习的中文分词
四.混合分词方法
pythonjieba 中文分词工具
jieba，https://github.com/fxsjy/jieba
一.算法
1.基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)；
2.采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合；
3.对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法。
二.特点（来源jieba官网）
1.支持三种分词模式：
1.1 精确模式，试图将句子最精确地切开，适合文本分析;
1.2 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
1.3 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。支持繁体分词
2.支持自定义词典
3.MIT 授权协议
在线演示： jiebademo.ap01.aws.af.cm/
（安装jieba真的走了很多弯路！装了一个多小时，都想手动安装包安装的时候，aliyun镜像救了我！我爱马云爸爸）
三.分词举例演示
1.分词演示
例1：以‘’暂时用着不错，会再来评价‘’为例
import jieba
(a为爬虫爬取的以列表格式存储的评论句）
eg1=jieba.cut(a[0],cut_all=True)
print('全模式：', ' '.join(eg1))
eg2=jieba.cut(a[0],cut_all=False)
print("精确模式：", ' '.join(eg2))
eg3=jieba.cut_for_search(a[0])
print("搜索引擎模式：", ' '.join(eg3))
>> 全模式： 暂时 用 着 不错 ， 会 再来 评价
精确模式： 暂时 用 着 不错 ， 会 再 来 评价
搜索引擎模式： 暂时 用 着 不错 ， 会 再 来 评价（差别不明显）
例2：多分析几个句子
import jieba
for i in a: eg1=jieba.cut(i,cut_all=True)
print('全模式：', ' '.join(eg1))
eg2=jieba.cut(i,cut_all=False)
print("精确模式：", ' '.join(eg2))
eg3=jieba.cut_for_search(i)
print("搜索引擎模式：", ' '.join(eg3))
print('\n')>> 全模式： 用 着 还行 ， 要是 能 给 个 钢化 膜 就 好 了
精确模式： 用 着 还行 ， 要是 能 给 个 钢化 膜 就 好 了
搜索引擎模式： 用 着 还行 ， 要是 能 给 个 钢化 膜 就 好 了
全模式： 不大 不大好 大好 用 。。 备用 备用机 随便 啦
精确模式： 不大好 用 。 。 备用机 随便 啦
搜索引擎模式： 不大 大好 不大好 用 。 。 备用 备用机 随便 啦
全模式： 分辨 分辨率 辨率 太 低 了 其他 还好
精确模式： 分辨率 太低 了 其他 还好
搜索引擎模式： 分辨 辨率 分辨率 太低 了 其他 还好
全模式： 一般 一般般 般般 了 ， 用 着 还行
精确模式： 一般般 了 ， 用 着 还行
搜索引擎模式： 一般 般般 一般般 了 ， 用 着 还行
（上述分词效果用cut和lcut均相同，区别在于返回值的类型）
1.2对返回值的认识：
1.2.1 cut
jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语，或者用循环打开
1)直接看看分词后的输出迭代器
import jieba
for i in a:
eg1=jieba.cut(i,cut_all=True)
print(eg1)
>> <generator object Tokenizer.cut at 0x0000005E5FC24390>2)利用' '.join（）打开迭代器
join是split的逆操作
即使用一个拼接符将一个列表拼成字符串
import jieba
for i in a:
eg1=jieba.cut(i,cut_all=True)
print('全模式：', ' '.join(eg1))
eg2=jieba.cut(i,cut_all=False)
print("精确模式：", ' '.join(eg2))
eg3=jieba.cut_for_search(i)
print("搜索引擎模式：", ' '.join(eg3)) print('\n')3)利用循环打开迭代器
import jieba
for i in a:
eg1=jieba.cut(i,cut_all=True)
for n in eg1:
print(n)注：
*print(type(eg1))
>><class 'generator'>
(generator是个什么类型？？）
*print(type(n))
>><class 'str'>
分过的词是字符串格式
*利用循环和''.join()分词得到的展示结构不一样，适当选择
1.2.2 lcut
jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
import jieba
for i in a:
eg1=jieba.lcut(i,cut_all=True)
for n in eg1:
print(n)
eg2=jieba.lcut(i,cut_all=False)
print("精确模式：", ' '.join(eg2))
eg3=jieba.lcut_for_search(i)
print("搜索引擎模式：", ' '.join(eg3))
print('\n') print(type(eg1))
>><class 'list'>print(type(n))>><class 'str'>注：lcut 输出直接为list，也可以用循环 ''.join()两种方法得到列表中的元素
四. jieba词性标注举例
1.词性标注对照表（部分）
- Ag 形语素 形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。
- a 形容词 取英语形容词 adjective的第1个字母。
- ad 副形词 直接作状语的形容词。形容词代码 a和副词代码d并在一起。
- an 名形词 具有名词功能的形容词。形容词代码 a和名词代码n并在一起。
- b 区别词 取汉字“别”的声母。
- c 连词 取英语连词 conjunction的第1个字母。
- dg 副语素 副词性语素。副词代码为 d，语素代码ｇ前面置以D。
- d 副词 取 adverb的第2个字母，因其第1个字母已用于形容词。
- e 叹词 取英语叹词 exclamation的第1个字母。
- f 方位词 取汉字“方”。
- g 语素 绝大多数语素都能作为合成词的“词根”，取汉字“根”的声母。
- h 前接成分 取英语 head的第1个字母。
- i 成语 取英语成语 idiom的第1个字母。
- j 简称略语 取汉字“简”的声母。
- k 后接成分
- l 习用语 习用语尚未成为成语，有点“临时性”，取“临”的声母。
- m 数词 取英语 numeral的第3个字母，n，u已有他用。
- Ng 名语素 名词性语素。名词代码为 n，语素代码ｇ前面置以N。
- n 名词 取英语名词 noun的第1个字母。
- nr 人名 名词代码 n和“人(ren)”的声母并在一起。
- ns 地名 名词代码 n和处所词代码s并在一起。
- nt 机构团体 “团”的声母为 t，名词代码n和t并在一起。
- nz 其他专名 “专”的声母的第 1个字母为z，名词代码n和z并在一起。
- o 拟声词 取英语拟声词 onomatopoeia的第1个字母。
- p 介词 取英语介词 prepositional的第1个字母。
- q 量词 取英语 quantity的第1个字母。
- r 代词 取英语代词 pronoun的第2个字母,因p已用于介词。
- s 处所词 取英语 space的第1个字母。
- tg 时语素 时间词性语素。时间词代码为 t,在语素的代码g前面置以T。
- t 时间词 取英语 time的第1个字母。
- u 助词 取英语助词 auxiliary
- vg 动语素 动词性语素。动词代码为 v。在语素的代码g前面置以V。
- v 动词 取英语动词 verb的第一个字母。
- vd 副动词 直接作状语的动词。动词和副词的代码并在一起。
- vn 名动词 指具有名词功能的动词。动词和名词的代码并在一起。
- w 标点符号
- x 非语素字 非语素字只是一个符号，字母 x通常用于代表未知数、符号。
- y 语气词 取汉字“语”的声母。
- z 状态词 取汉字“状”的声母的前一个字母。
- zg 状态词
- un 未知词 不可识别词及用户自定义词组。取英文Unkonwn首两个字母。(非北大标准，CSW分词中定义)
2.词性标注举例
词性标注要用到jieba的posseg库
import jiebaimport jieba.posseg
for i in a: eg1=jieba.posseg.lcut(i)
#分词和词性标注用此语句可同时进行
for word, flag in eg1:
#分词后的词为 word 词性标注为flag
print('%s %s' % (word, flag))
#%s 为字符串格式化语法，为一个占位符 利用“xxx %s” % (xxx)语句可以将括号内的字符串替换到%s占位的位置>>(以一句为例展示输出）
>> 唯一 b #区别词
一次 m #数词
京东 ns #地名
上面 f #方位词
购物 n #名词
差 a #形容词
评 n #名词
！ x #符号
运行 v #动词
速度 n #名词
： x #符号
很 zg #状态词
喜欢 v #动词
屏幕 n #名词
死机 n #名词
五. 关键词抽取
关键词抽取要用到jieba的analyse包
1.基于 TF-IDF 算法的关键词抽取
1.1 语法
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()) sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20 ，重要性从高到低排序
withWeight 为是否一并返回关键词权重值，默认值为 False
allowPOS 仅包括指定词性的词，默认值为空，即不筛选 ，若提供则仅返回符合词性要求的关键词
1.2 举例
import jiebaimport jieba.possegimport jieba.analyse
for i in a:
#a是存储所有评论的list
keyword=jieba.analyse.extract_tags(i,topK=10, withWeight=True,allowPOS=('a','n','v'))
#对list中所有的评论中形容词动词名词词性的关键词进行抽取，显示权重前十的关键词及权重
print(keyword)
>> （部分输出）
[]
[('不错', 6.1882338177)]
[('耗电', 10.4666904475)]
[('商家', 7.9526426628)]
[]
[('一般', 4.31395775279)]
[]
[('照片', 1.2496232107965517), ('水印', 1.1334040006344828), ('手机', 0.6384643270468965), ('亮度', 0.6208853691048276), ('照完', 0.4238358530862069), ('照出来', 0.4035673474), ('相片', 0.34443636712241377), ('最差', 0.29840184758), ('手动', 0.291219190917931), ('光线', 0.26375081961413793)]
[('客服', 1.2385098621600001), ('手机', 0.8816888325885713), ('机子', 0.8443740078785714), ('买过', 0.7410226519571428), ('没给', 0.7053804258028571), ('售后', 0.6904693676699999), ('语音', 0.603852877165), ('不理', 0.5626592899292857), ('不行', 0.45066575752), ('说话', 0.3760961380385714)]
[('死机', 2.0857305484833333), ('屏幕', 1.4719622416266667), ('购物', 1.3219950153316666), ('喜欢', 0.9504314005033333), ('运行', 0.9493343038366667), ('速度', 0.927661005025)]2.基于 TextRank 算法的关键词抽取
2.1 语法：
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口相同，注意默认过滤词性。
论文： Mihalcea R, Tarau P. TextRank: Bringing Order into Texts[J]. Emnlp, 2004:404-411.
基本思想: 将待抽取关键词的文本进行分词 以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图 计算图中节点的PageRank，注意是无向带权图
2.2 举例
import jiebaimport jieba.possegimport jieba.analyse
for i in a:
#a是存储所有评论的list
keyword=jieba.analyse.textrank(i,topK=10, withWeight=True,allowPOS=('a','n','v'))
#对list中所有的评论中形容词动词名词词性的关键词进行抽取，显示权重前十的关键词及权重
print(keyword)>> （部分输出）
[]
[]
[]
[]
[]
[]
[]
[('照片', 1.0), ('亮度', 0.6857701336715649), ('水印', 0.594170498357614), ('不会', 0.5511412106330243), ('手机', 0.47530281105732247), ('照出来', 0.4372098478488273), ('效果', 0.434137396935954), ('环境', 0.4322879781115401), ('问题', 0.4312647276283249), ('查看', 0.42511769109829173)]
[('客服', 1.0), ('手机', 0.7218326294426812), ('开始', 0.700495842312339), ('机子', 0.6560230046997807), ('说话', 0.6560230046997807), ('时间', 0.6516431795048889),
('语音', 0.6516431795048889), ('不行', 0.3812274938234416), ('不理', 0.35579418211722413)]
[('喜欢', 1.0), ('运行', 0.8248827475841454), ('速度', 0.7673570425263684), ('屏幕', 0.7580020539710002), ('死机', 0.5235893076912542), ('购物', 0.31926567238750087)]
3.两种算法对比
对比上述列出来的十条评论关键词抽取结果，在筛选条件设置完全相同的情况下，关键词抽取的结果相去甚远。
3.1 对比两种算法的权重赋值，很明显textrank算法的权值是在0-1区间内的，并且句内权重最高的被设为基准，赋予权重“1”，其他词语按照重要性权重依次降低。而基于 TF-IDF 算法的关键词抽取没有明显的权重区间，需要理解此算法中权重计算方法才能理解权重如何得到的。
3.2对比两种算法的权重排序，两者也有较大差距，但是不了解算法中权重计算机制，也无法轻易评价两种方法的好坏。
3.3 对比两种算法的筛选结果，可以很明显的看到基于 TF-IDF 算法的关键词抽取更精确，textrank算法遗漏了很多符合词性的词语。
六.个人jieba初体验：
1.上手快，分析速度快，代码实现简单
2.分词对比三种模式，精确模式下的分词最接近人的理解和分词，大多情况很贴近，无错误或歧义；全模式类似于将各种分词的可能性都列出来，还没分清全模式和搜索引擎模式的区别
3.两种关键词抽取我倾向基于 TF-IDF 算法的方法
4.对召回率理解？ %的用法？
其他中文分词工具
jieba_fast，https://github.com/deepcs233/jieba_fast
nltk，https://github.com/nltk/nltk
FoolNLTK，https://github.com/rockyzhengwu/FoolNLTK/blob/master/README_CH.md thulac，https://github.com/thunlp/THULAC-Python
genius，https://github.com/duanhongyi/genius
snownlp，https://github.com/isnowfy/snownlp
pynlpir，https://github.com/tsroten/pynlpir
参考源：
本文引用转载了CSDN博主「三个石头2016」「Waldenz」的原创文章，遵循 CC 4.0 BY-SA 版权协议，载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/qiang12qiang12/article/details/81589386
https://blog.csdn.net/qiang12qiang12/article/details/80792190
https://blog.csdn.net/enter89/article/details/80619805
本文引用了jieba官网的介绍。原地址连接：
https://pypi.org/project/jieba/#files
