NorthTree72300

赞

13

|

搜索文章

基于词频统计的未登录词识别设想

通过逐级识别用户输入的词的长度是否等于1或大于4、是否为预设的分词词典或用户词典中存在的词、是否包含于所述分词词典或用户词典的某个词中，筛选出可能的未登录词加入用户输入词词典中做临时记录，当进一步识别出所述用户输入的词为网络词条中的词时，将所述用户输入的词加入所述用户词典中，同…

6年前
495
点赞
评论

未登录词(Out Of Vocabulary)识别

因为看到一个标语——南京市长江大桥欢迎您。例如“高东镇高东二路”，需要把“高东二路”这样不在词典中的路名识别出来。可以先把输入串抽象成待识别的标注序列，然后根据词类识别。例如：定义特征的类别：例如未登录词的上文，下文等。根据特征词库对输入串做全切分：可以采用AdjList…

6年前
1.6k
1
评论

个人成就

文章被点赞 1

文章被阅读 2,135

加入于

2019-03-21