-
Analysis - 文本分析是把全文本转换成一系列单词（term/token）的过程，也叫分词
-
Analysis是通过Analyzer实现的
- 可以使用Elasticsearch内置的分析器/或者按需定制化分析器
-
除了在数据写入时转换词条，匹配Query语句时候也需要用相同的分析器对语句进行分析
例如：
Elasticsearch Server -> elasticsearch server
Analyzer的组成
- 分词器是专门处理分词的组件，Analyzer由三部分组成
- Character Filters（针对原始文本处理，例如去除html）
- Tokenizer（按照规则切分为单词）
- Token Filter（将切分的单词进行加工，小写，删除stopwords，增加同义词）
Elasticsearch的内置分词器
- Standard Analyzer - 默认分词器，按词切分，小写处理
- Simple Analyzer - 按照非字母切分（符号被过滤），小写处理
- Stop Analyzer - 小写处理，通用词过滤
- Whitespace Analyzer - 按照空格切分，不转小写
- Keyword Analyzer - 不分词，直接将输入当做输出
- Patter Analyzer - 正则表达式，默认\W+(非字符分割)
- Language - 提供了30多种常见语言的分词器
- Customer Analyzer 自定义分词器
