什么是高级?这就叫高级—openGauss(362)

19 阅读1分钟

#openGauss #入门 #安装 #数据库 #开源

知识来源:docs-opengauss.osinfra.cn/zh/

词典概述

词典用于定义停用词(stop words),即全文检索时不搜索哪些词。

词典还可以用于对同一词的不同形式进行规范化,这样同一个词的不同派生形式都可以进行匹配。规范化后的词称为词位(lexeme)。

除了提高检索质量外,词的规范化和删除停用词可以减少文档tsvector格式的大小, 从而提高性能。词的规范化和删除停用词并不总是具有语言学意义,用户可以根据应用环境在词典定义文件中自定义规范化和删除规则。

一个词典是一个程序,接收标记(token)作为输入,并返回:

  • 如果token在词典中已知,返回对应lexeme数组(注意,一个标记可能对应多个lexeme)。

  • 一个lexeme。一个新token会代替输入token被传递给后继词典(当前词典可被称为过滤词典)。

  • 如果token在词典中已知,但它是一个停用词,返回空数组。

  • 如果词典不能识别输入的token,返回NULL。

#openGauss #入门 #安装 #数据库 #开源

知识来源:docs-opengauss.osinfra.cn/zh/