lanlantian123

在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出…

N-最短路径 是中科院分词工具NLPIR进行分词用到的一个重要算法，张华平、刘群老师在论文《基于N-最短路径方法的中文词语粗分模型》中做了比较详细的介绍。该算法算法基本思想很简单，就是给定一待处理字串，根据词典，找出词典中所有可能的词，构造出字串的一个有向无环图，算出从开始到结…

之前我有想过用机器学习的方法来进行词法分析，但是在项目中测试时正确率不够。于是这时候便有了 HanLP-汉语言处理包 来进行提取关键词的想法。 在项目中配置jar包，添加依赖。 解决办法：查看错误提示页面下是否有该文件，如果没有则去网上下载一个。像我这里，由于只是使用其一部分功…

最近一直比较忙，好多私信也没时间回复。以后要完全从CV转NLP，所以博客内容可能要作调整了。 Hanlp是最近学习的一个自然语言处理包，本篇文章将一些使用过程之中遇到的bug放到这里做一个备忘记录，有时间一并联系作者更改。 -Predefine类的好多预定义tag没有在核心词典…

...... 配置文件的作用是告诉HanLP数据包即data文件夹的位置，root的值为data文件夹的父目录，可以使用绝对路径或相对路径。

Elasticsearch 默认对中文分词是按“字”进行分词的，这是肯定不能达到我们进行分词搜索的要求的。官方有一个 SmartCN 中文分词插件，另外还有一个 IK 分词插件使用也比较广。但这里，我们采用 HanLP 这款 自然语言处理工具 来进行中文分词。 Elastics…

HanLP是由一系列模型与算法组成的Java工具包，目标是促进自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 hanlp是由jar包、properties文件和data数据模型组成，因此，在安装时，这三种文件都应该有。可以…