基于词频统计的未登录词识别设想

409 阅读1分钟

未登录词识别处理策略:构建单字词表


策略2:

通过逐级识别用户输入的词的长度是否等于1或大于4、是否为预设的分词词典或用户词典中存在的词、是否包含于所述分词词典或用户词典的某个词中,筛选出可能的未登录词加入用户输入词词典中做临时记录,当进一步识别出所述用户输入的词为网络词条中的词时,将所述用户输入的词加入所述用户词典中,同时将其从所述用户输入词词典中删除。通过逐级识别用户输入的词,将可能的未登录词加入用户词典中,丰富了用户词典,当需要基于所述用户词典对用户输入的语句进行分词时,能够改善分词效果。

来源:patents.google.com/patent/WO20…