公司需求要求实现一个文本查重，重复率超过70% 就不让用户新增文本。固研究实现基于java的文本查重工具，分享出来方便大家使用～ ansj 分词法介绍 Ansj 是一个开源的 Java 中文分词工具，