Elasticsearch Mapping的解析、数据类型、Mapping 支持属性、Mapping 字段设置流程

迷途码界
883 阅读7分钟

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

什么是Mapping（映射）

映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射（Mapping）用来定义一个文档，可以定义所包含的字段以及字段的类型、分词器及属性等等。

映射可以分为动态映射和静态映射。

  1. 动态映射 （dynamic mapping）：在关系数据库中，需要事先创建数据库，然后在该数据库实例下创建数据表，然后才能在该数据表中插入数据。而ElasticSearch中不需要事先定义映射（Mapping），文档写入ElasticSearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。
  2. 静态映射 ：在ElasticSearch中也可以事先定义好映射，包含文档的各个字段及其类型等，这种方式称之为静态映射。
# 静态映射：若映射（mapping）已经创建，写入数据时，elasticsearch会根据映射和写入数据的key进行对比，然后写入相应的映射中；
# 动态映射：如果mapping没有创建，elasticsearch将会根据写入的数据的key自行创建相应的mapping，并写入数据。
PUT /myindex/article/1
{
  "post_date": "2018-05-10",
  "title": "Java",
  "content": "java is the best language",
  "author_id": 119
}

# 可以使用_mapping查询索引的mapping
GET /myindex/article/_mapping

# 返回结果
{
    "myindex": {
        "mapping": {
            "article": {
                "properties": {
                    "author_id": {
                        "type": "long"
                    },
                    "content": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "post_date": {
                        "type": "date"
                    },
                    "title": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    }
                }
            }
        }
    }
}

# 手动创建mapping
PUT /lib6
{
  "settings": {
	 "number_of_shards": 3,
	 "number_of_replicas": 0
  },
  "mappings": {
	 "books": {
		"properties": {
			"title": {"type": "text"},
			"name": {"type": "text", "ayalyzer": "standard"},
			"publish_date": {"type": "date", "index": false},
			"price": {"type": "double"},
			"number": {"type": "integer"}
		}
	 }
  }
}

数据类型及支持属性

由上可见elasticsearch时支持数据类型的。

核心类型（Core datatype）

字符串：string，string类型包含 text 和 keyword。

  • text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立索引；允许es来检索这些词，text类型不能用来排序和聚合。
  • keyword：该类型不需要进行分词，可以被用来检索过滤、排序和聚合，keyword类型自读那只能用本身来进行检索（不可用text分词后的模糊检索）。

数指型：long、integer、short、byte、double、float

日期型：date

布尔型：boolean

二进制型：binary

PUT /myindex/article/2
{
  "post_date": "2018-05-12",
  "title": "html",
  "content": "I like html",
  "author_id": 120
}

PUT /myindex/article/3
{
  "post_date": "2018-05-16",
  "title": "es",
  "content": "Es is distributed document store",
  "author_id": 110
}

# 查不出数据
GET /myindex/article/_search?q=post_date:2018

# 返回结果
{
    "took": 198,
    "time_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 0,
        "max_score": null,
        "hits": []
    }
}

# 查出数据
GET /myindex/article/_search?q=post_date:2018-05-10

# 返回结果
{
    "took": 84,
    "time_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1,
        "hits": [
            {
                "_index": "myindex",
                "_type": "article",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "post_date": "2018-05-10",
                    "title": "Java",
                    "content": "java is the best language",
                    "author_id": 119
                }
            }
        ]
    }
}

# 查出数据
GET /myindex/article/_search?q=content:html

# 返回结果
{
    "took": 45,
    "time_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "myindex",
                "_type": "article",
                "_id": "2",
                "_score": 0.2876821,
                "_source": {
                    "post_date": "2018-05-12",
                    "title": "html",
                    "content": "I like html",
                    "author_id": 120
                }
            }
        ]
    }
}

除字符串类型以外，其他类型必须要进行精确查询，因为除字符串外其他类型不会进行分词。

复杂数据类型（Complex datatypes）

数组类型（Array datatype），数组类型不需要专门指定数组元素的type，例如：

字符型数组：[“one”，“two”]

整型数组*：[1, 2]

数组型数组：[1, [2, 3]] 等价于 [1, 2, 3]

对象数组：[{"name": "Mary", "age": 12}, {"name": "John", "age": 10}]

对象类型（Object datatype）：object 用于单个Json对象

# object类型
PUT /lib/person/1
{
  "name": "Tom",
  "age": 25,
  "birthday": "1985-12-12",
  "address": {
	 "country": "china",
	 "province": "hubei",
	 "city": "wuhan"
  }
}

# 底层存储格式——符合面向对象思想
{
  "name": ["Tom"],
  "age": [25],
  "birthday": ["1985-12-12"],
  "address.country": ["china"],
  "address.province": ["hubei"],
  "address.city": ["wuhan"]
}

嵌套类型（Nested datatype）：nested 用于Json数组

{
  "persons": [
	 {"name": "lisi", "age": 27},
	 {"name": "wangwu", "age": 26},
	 {"name": "zhangsan", "age": 23}
  ]
}

# 底层存储
{
  "persons": ["lisi", "wangwu", "zhangsan"],
  "persons": [27, 26, 23]
}

地理位置类型（Geo datatypes）

地理坐标类型（Geo-point datatype）：geo_point 用于经纬度坐标

地理形状类型（Geo-Shape datatype）：geo_shape 用于类似于多边形的复杂形状

特定类型（Specialised datatypes）

IPv4 类型（IPv4 datatype）：ip 用于IPv4 地址

Completion 类型（Completion datatype）：completion 提供自动补全建议

Token count 类型（Token count datatype）：token_count 用于统计做子标记的字段的index数目，该值会一直增加，不会因为过滤条件而减少

mapper-murmur3 类型：通过插件，可以通过_murmur3_来计算index的哈希值

附加类型（Attachment datatype）：采用mapper-attachments插件，可支持_attachments_索引，例如 Microsoft office 格式，Open Documnet 格式， ePub，HTML等

Mapping 支持属性

  • enabled：仅存储、不做搜索和聚合分析
"enabled":true （缺省）| false
  • index：是否构建倒排索引（即是否分词，设置false，字段将不会被索引）
"index": true（缺省）| false
  • index_option：存储倒排索引的哪些信息
    • 4个可选参数
      • docs：索引文档号
      • freqs：文档号+词频
      • positions：文档号+词频+位置，通常用来距离查询
      • offsets：文档号+词频+位置+偏移量，通常被使用在高亮字段
    • 分词字段默认时positions，其他默认时docs
"index_options": "docs"
  • norms：是否归一化相关参数、如果字段仅用于过滤和聚合分析、可关闭
    • 分词字段默认配置，不分词字段：默认{"enable": false}，存储长度因子和索引时boost，建议对需要参加评分字段使用，会额外增加内存消耗
"norms": {"enable": true, "loading": "lazy"}
  • doc_value：是否开启doc_value，用户聚合和排序分析
    • 对not_analyzed字段，默认都是开启，分词字段不能使用，对排序和聚合能提升较大性能，节约内存
"doc_value": true（缺省）| false
  • fielddata：是否为text类型启动fielddata，实现排序和聚合分析
    • 针对分词字段，参与排序或聚合时能提高性能，不分词字段统一建议使用doc_value
"fielddata": {"format": "disabled"}
  • store：是否单独设置此字段的是否存储而从_source字段中分离，只能搜索，不能获取值
"store": false（默认）| true
  • coerce：是否开启自动数据类型转换功能，比如：字符串转数字，浮点转整型
"coerce: true（缺省）| false"

  • multifields：灵活使用多字段解决多样的业务需求

  • dynamic：控制mapping的自动更新

"dynamic": true（缺省）| false | strict
  • data_detection：是否自动识别日期类型
data_detection：true（缺省）| false
  • analyzer：指定分词器，默认分词器为standard analyzer
"analyzer": "ik"
  • boost：字段级别的分数加权，默认值是1.0
"boost": 1.23
  • fields：可以对一个字段提供多种索引模式，同一个字段的值，一个分词，一个不分词
"fields": {"raw": {"type": "string", "index": "not_analyzed"}}
  • ignore_above：超过100个字符的文本，将会被忽略，不被索引
"ignore_above": 100
  • include_in_all：设置是否此字段包含在_all字段中，默认时true，除非index设置成no
"include_in_all": true
  • null_value：设置一些缺失字段的初始化，只有string可以使用，分词字段的null值也会被分词
"null_value": "NULL"
  • position_increament_gap：影响距离查询或近似查询，可以设置在多值字段的数据上或分词字段上，查询时可以指定slop间隔，默认值时100
"position_increament_gap": 0
  • search_analyzer：设置搜索时的分词器，默认跟analyzer是一致的，比如index时用standard+ngram，搜索时用standard用来完成自动提示功能
"search_analyzer": "ik"
  • similarity：默认时TF/IDF算法，指定一个字段评分策略，仅仅对字符串型和分词类型有效
"similarity": "BM25"
  • trem_vector：默认不存储向量信息，支持参数yes（term存储），with_positions（term+位置），with_offsets（term+偏移量），with_positions_offsets（term+位置+偏移量）对快速高亮fast vector highlighter能提升性能，但开启又会加大索引体积，不适合大数据量用
"trem_vector": "no"

Mapping 字段设置流程

在这里插入图片描述

avatar
文章
阅读
粉丝
相关推荐
带着问题阅读源码——Spring MVC是如何将url注册到RequestMappingHandlerMapping？
109阅读
 · 
0点赞
SpringMVC-Ambiguous mapping 问题实践
304阅读
 · 
1点赞
Tonemapping不够用了：Local Tonemapping方案总结
958阅读
 · 
0点赞
MapStruct @Mapping注解：优雅处理映射中的Null值
1.0k阅读
 · 
1点赞
Three.js 中的纹理映射（Texture Mapping）
876阅读
 · 
1点赞
WebGL实战篇（十三）—— 法线贴图（凹凸映射 Bump Mapping ）
1.3k阅读
 · 
5点赞
Elasticsearch Mapping类型修改 | 京东云技术团队
592阅读
 · 
3点赞
如何通过 Mapping 文件反混淆
812阅读
 · 
8点赞
索引映射：Mapping
431阅读
 · 
2点赞
OpenFeign是如何识别RequestMapping注解的？
890阅读
 · 
6点赞