pkuseg具有如下几个特点：
- 多领域分词。不同于以往的通用中文分词工具，此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点，用户可以自由地选择不同的模型。 我们目前支持了新闻领域，网络领域，医药领域，旅游领域，以及混合领域的分词预训练模型。在使用中，如果用户明确待分词的领域，可加载对应的模型进行分词。如果用户无法确定具体领域，推荐使用在混合领域上训练的通用模型。各领域分词样例可参考 example.txt。
- 更高的分词准确率。相比于其他的分词工具包，当使用相同的训练数据和测试数据，pkuseg可以取得更高的分词准确率。
- 支持用户自训练模型。支持用户使用全新的标注数据进行训练。
- 支持词性标注。
安装
- 目前仅支持python3
- 为了获得好的效果和速度，强烈建议大家通过pip install更新到目前的最新版本
-
通过PyPI安装(自带模型文件)：
pip3 install pkusegGitHub的代码并不包括预训练模型，因此需要用户自行下载或训练模型，预训练模型可详见release。使用时需设定"model_name"为模型文件。
各类分词工具包的性能对比
我们选择jieba、THULAC等国内代表分词工具包与pkuseg做性能比较
细领域训练及测试结果
以下是在不同数据集上的对比结果：
| MSRA | Precision | Recall | F-score |
|---|---|---|---|
| jieba | 87.01 | 89.88 | 88.42 |
| THULAC | 95.60 | 95.91 | 95.71 |
| pkuseg | 96.94 | 96.81 | 96.88 |
| Precision | Recall | F-score | |
|---|---|---|---|
| jieba | 87.79 | 87.54 | 87.66 |
| THULAC | 93.40 | 92.40 | 92.87 |
| pkuseg | 93.78 | 94.65 | 94.21 |
默认模型在不同领域的测试效果
考虑到很多用户在尝试分词工具的时候，大多数时候会使用工具包自带模型测试。为了直接对比“初始”性能，我们也比较了各个工具包的默认模型在不同领域的测试效果。请注意，这样的比较只是为了说明默认情况下的效果，并不一定是公平的。
| Default | MSRA | CTB8 | PKU | All Average | |
|---|---|---|---|---|---|
| jieba | 81.45 | 79.58 | 81.83 | 83.56 | 81.61 |
| THULAC | 85.55 | 87.84 | 92.29 | 86.65 | 88.08 |
| pkuseg | 87.29 | 91.77 | 92.68 | 93.43 | 91.29 |
其中，All Average显示的是在所有测试集上F-score的平均。
使用方式
代码示例
以下代码示例适用于python交互式环境。
代码示例1：使用默认配置进行分词（如果用户无法确定分词领域，推荐使用默认模型分词）
import pkuseg
seg = pkuseg.pkuseg() # 以默认配置加载模型
text = seg.cut('沈阳9月3日电 (王景巍 李晛)第八批在韩中国人民志愿军烈士遗骸安葬仪式，3日上午在沈阳抗美援朝烈士陵园举行，109名为国战斗牺牲在异国他乡的志愿军英烈在祖国的大地上安息。') # 进行分词
print(text)
# 结果展示
['沈阳', '9月', '3日', '电', '(', '王景巍', '李', '晛', ')', '第八', '批', '在', '韩', '中国', '人民', '志愿军', '烈士', '遗骸', '安葬', '仪式', '，', '3日', '上午', '在', '沈阳', '抗美援朝', '烈士', '陵园', '举行', '，', '109', '名', '为', '国', '战斗', '牺牲', '在', '异国他乡', '的', '志愿军', '英烈', '在', '祖国', '的', '大地', '上', '安息', '。']
代码示例2：细领域分词（如果用户明确分词领域，推荐使用细领域模型分词）
import pkuseg
seg = pkuseg.pkuseg(model_name='medicine') # 程序会自动下载所对应的细领域模型
text = seg.cut('我爱北京天安门') # 进行分词
print(text)
# 结果展示
['我', '爱', '北京', '天安门']
代码示例3：分词同时进行词性标注，各词性标签的详细含义可参考 tags.txt
import pkuseg
seg = pkuseg.pkuseg(postag=True) # 开启词性标注功能
text = seg.cut('我爱北京天安门') # 进行分词和词性标注
print(text)
# 结果展示
[('我', 'r'), ('爱', 'v'), ('北京', 'ns'), ('天安门', 'ns')]
代码示例4：对文件分词
# 出现错误，使用下面的方式
import pkuseg
# 对input.txt的文件分词输出到output.txt中
# 开20个进程
pkuseg.test('input.txt', 'output.txt', nthread=20)
- 正确的代码
# 虽然也会报错但是最终输出了结果
import pkuseg
if __name__ == '__main__':
pkuseg.test('input.txt','output.txt', nthread=20)
代码示例5：额外使用用户自定义词典
import pkuseg
seg = pkuseg.pkuseg(user_dict='my_dict.txt') # 给定用户词典为当前目录下的"my_dict.txt"
text = seg.cut('我爱北京天安门') # 进行分词
print(text)
# 结果展示
['我', '爱', '北京天安门']
import pkuseg
lexicon = ['北京大学', '北京天安门'] # 希望分词时用户词典中的词固定不分开
seg = pkuseg.pkuseg(user_dict=lexicon) # 加载模型，给定用户词典
text = seg.cut('我爱北京天安门') # 进行分词
print(text)
# 结果展示
['我', '爱', '北京天安门']
代码示例6：使用自训练模型分词（以CTB8模型为例）
import pkuseg
seg = pkuseg.pkuseg(model_name='./ctb8') # 假设用户已经下载好了ctb8的模型并放在了'./ctb8'目录下，通过设置model_name加载该模型
text = seg.cut('我爱北京天安门') # 进行分词
print(text)
# 结果展示
['沈阳', '9月', '3日', '电', '(王', '景巍', '李晛)', '第八', '批', '在', '韩', '中国', '人民', '志愿军', '烈士', '遗骸', '安葬', '仪式', '，', '3日', '上午', '在', '沈阳', '抗美援朝', '烈士', '陵园', '举行', '，', '109', '名', '为', '国', '战斗', '牺牲', '在', '异国', '他乡', '的', '志愿军', '英烈', '在', '祖国', '的', '大地', '上', '安息', '。']
代码示例7：训练新模型 （模型随机初始化）
import pkuseg
# 训练文件为'msr_training.utf8'
# 测试文件为'msr_test_gold.utf8'
# 训练好的模型存到'./models'目录下
# 训练模式下会保存最后一轮模型作为最终模型
# 目前仅支持utf-8编码，训练集和测试集要求所有单词以单个或多个空格分开
pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models')
# 结果展示
length = 1 : 85
length = 2 : 650
length = 3 : 72
length = 4 : 36
length = 5 : 0
length = 6 : 2
length = 7 : 1
start training...
reading training & test data...
done! train/test data sizes: 1/1
r: 1
iter0 diff=1.00e+100 train-time(sec)=0.17 f-score=56.89%
iter1 diff=1.00e+100 train-time(sec)=0.16 f-score=59.53%
iter2 diff=-2.91e-01 train-time(sec)=0.17 f-score=63.18%
iter3 diff=-1.47e-01 train-time(sec)=0.16 f-score=64.77%
iter4 diff=-7.69e-02 train-time(sec)=0.16 f-score=65.19%
iter5 diff=-3.91e-02 train-time(sec)=0.16 f-score=65.74%
iter6 diff=-1.86e-02 train-time(sec)=0.16 f-score=65.89%
iter7 diff=-7.74e-03 train-time(sec)=0.16 f-score=65.85%
iter8 diff=-2.13e-03 train-time(sec)=0.16 f-score=66.55%
iter9 diff=7.12e-04 train-time(sec)=0.16 f-score=66.55%
iter10 diff=2.32e-03 train-time(sec)=0.16 f-score=66.55%
iter11 diff=2.83e-01 train-time(sec)=0.16 f-score=66.82%
iter12 diff=1.64e-01 train-time(sec)=0.16 f-score=66.82%
iter13 diff=9.51e-02 train-time(sec)=0.17 f-score=66.82%
iter14 diff=5.58e-02 train-time(sec)=0.16 f-score=66.82%
iter15 diff=3.27e-02 train-time(sec)=0.16 f-score=66.82%
iter16 diff=1.92e-02 train-time(sec)=0.16 f-score=66.82%
iter17 diff=1.14e-02 train-time(sec)=0.16 f-score=66.82%
iter18 diff=6.76e-03 train-time(sec)=0.16 f-score=66.82%
iter19 diff=4.04e-03 train-time(sec)=0.16 f-score=66.82%
finished.
Total time: 3.607029438018799
代码示例8：fine-tune训练（从预加载的模型继续训练）
import pkuseg
# 训练文件为'train.txt'
# 测试文件为'test.txt'
# 加载'./pretrained'目录下的模型，训练好的模型保存在'./models'，训练10轮
pkuseg.train('train.txt', 'test.txt', './models', train_iter=10, init_model='./pretrained')
参数说明
模型配置
pkuseg.pkuseg(model_name = "default", user_dict = "default", postag = False)
model_name 模型路径。
"default"，默认参数，表示使用我们预训练好的混合领域模型(仅对pip下载的用户)。
"news", 使用新闻领域模型。
"web", 使用网络领域模型。
"medicine", 使用医药领域模型。
"tourism", 使用旅游领域模型。
model_path, 从用户指定路径加载模型。
user_dict 设置用户词典。
"default", 默认参数，使用我们提供的词典。
None, 不使用词典。
dict_path, 在使用默认词典的同时会额外使用用户自定义词典，可以填自己的用户词典的路径，词典格式为一行一个词（如果选择进行词性标注并且已知该词的词性，则在该行写下词和词性，中间用tab字符隔开）。
postag 是否进行词性分析。
False, 默认参数，只进行分词，不进行词性标注。
True, 会在分词的同时进行词性标注。
对文件进行分词
pkuseg.test(readFile, outputFile, model_name = "default", user_dict = "default", postag = False, nthread = 10)
readFile 输入文件路径。
outputFile 输出文件路径。
model_name 模型路径。同pkuseg.pkuseg
user_dict 设置用户词典。同pkuseg.pkuseg
postag 设置是否开启词性分析功能。同pkuseg.pkuseg
nthread 测试时开的进程数。
模型训练
pkuseg.train(trainFile, testFile, savedir, train_iter = 20, init_model = None)
trainFile 训练文件路径。
testFile 测试文件路径。
savedir 训练模型的保存路径。
train_iter 训练轮数。
init_model 初始化模型，默认为None表示使用默认初始化，用户可以填自己想要初始化的模型的路径如init_model='./models/'。
多进程分词
当将以上代码示例置于文件中运行时，如涉及多进程功能，请务必使用if __name__ == '__main__'保护全局语句，详见多进程分词。
预训练模型
从pip安装的用户在使用细领域分词功能时，只需要设置model_name字段为对应的领域即可，会自动下载对应的细领域模型。
从github下载的用户则需要自己下载对应的预训练模型，并设置model_name字段为预训练模型路径。预训练模型可以在release部分下载。以下是对预训练模型的说明：
- news: 在MSRA（新闻语料）上训练的模型。
- web: 在微博（网络文本语料）上训练的模型。
- medicine: 在医药领域上训练的模型。
- tourism: 在旅游领域上训练的模型。
- mixed: 混合数据集训练的通用模型。随pip包附带的是此模型。
