Elasticsearch
1.核心概念
1.1索引Index
类似的数据放在一个索引,非类似的数据放不同索引, 一个索引也可以理解成一个关系型数据库。
1.2 类型(type)
代表document属于index中的哪个类别(type) 注意ES每个大版本之间区别很大:
ES 5.x中一个index可以有多种type。
ES 6.x中一个index只能有一种type。
ES 7.x以后 要逐渐移除type这个概念。
1.3 映射(mapping)
mapping定义了每个字段的类型等信息。相当于关系型数据库中的表结构。
常用数据类型:text、keyword、number、array、range、boolean、date、geo_point、ip、nested、object
1.4 和Mysql的对比
| Mysql | Elasticsearch |
|---|---|
| 数据库Database | 索引Index |
| 表Table | 索引Index类型(原为Type) |
| 数据行Row | 文档Document |
| 数据列Column | 字段Field |
| 约束 Schema | 映射Mapping |
2.索引操作
2.1 索引库创建和删除
- 创建
PUT /索引名称
{
"settings": {
"属性名": "属性值"
}
}
settings:就是索引库设置,其中可以定义索引库的各种属性 比如分片数 副本数等,目前我们可以不 设置,都走默认
PUT /lagou-index
- 删除
DELETE /索引名称1,索引名称2,索引名称3...
2.2 判断索引是否存在
HEAD /索引名称
HEAD /lagou-index
2.3 查看索引
2.3.1 查看单个索引
GET /索引名称
GET /lagou-index
2.3.2 批量查看索引
GET /索引名称1,索引名称2,索引名称3,...
2.3.3 查看所有索引
- 方式一
GET _all
新的索引在最下面
- 方式二
GET /_cat/indices?v
绿色:索引的所有分片都正常分配。 黄色:至少有一个副本没有得到正确的分配。 红色:至少有一个主分片没有得到正确的分配。
2.4 索引打开关闭
POST /lagou-index/_open
POST /lagou-index/_close
3. 映射操作
索引创建之后,等于有了关系型数据库中的database。Elasticsearch7.x取消了索引type类型的设置,不允许指定类型,默认为_doc,但字段仍然是有的,我们需要设置字段的约束信息,叫做字段映射(mapping)
3.1 创建映射字段
PUT /索引库名/_mapping
{
"properties": {
"字段名": {
"type": "类型",
"index": true,
"store": true,
"analyzer": "分词器"
}
}
}
字段名:任意填写,下面指定许多属性
- type:类型,可以是text、long、short、date、integer、object等
- index:是否索引,默认为true
- store:是否存储,默认为false
- analyzer:指定分词器
PUT /lagou-company-index
GET /lagou-company-index
PUT /lagou-company-index/_mapping
{
"properties": {
"name": {
"type": "text",
"analyzer": "ik_max_word"
},
"job": {
"type": "text",
"analyzer": "ik_max_word"
},
"logo": {
"type": "keyword",
"index": "false"
},
"payment": {
"type": "float"
}
}
}
3.2 修改映射
PUT /lagou-company-index/_mapping
也可做修改映射,不过只能新增字段,修改其它字段需要删除索引重新建立映射关系
- 创建索引同时建立映射
put /索引库名称
{
"settings":{
"索引库属性名":"索引库属性值"
},
"mappings":{
"properties":{
"字段名":{
"映射属性名":"映射属性值"
}
}
}
}
3.3 映射属性详解
3.3.1 type
String类型:
- text:可分词,不可参与聚合
- keyword:不可分词,数据会作为完整字段进行匹配,可以参与聚合
Numeric:数值类型,分两类
- 基本数据类型:long、interger、short、byte、double、float、half_float
- 浮点数的高精度类型:scaled_float 需要指定一个精度因子,比如10或100。elasticsearch会把真实值乘以这个因子后存储,取出时再原。
Date:日期类型
- elasticsearch可以对日期格式化为字符串存储,但是建议我们存储为毫秒值,存储为long,节省空间。
Array:数组类型
-
进行匹配时,任意一个元素满足,都认为满足
-
排序时,如果升序则用数组中的最小值来排序,如果降序则用数组中的最大值来排序
Object:对象
3.3.2 index
index影响字段的索引情况。
-
true:字段会被索引,则可以用来进行搜索。默认值就是true
-
false:字段不会被索引,不能用来搜索
index的默认值就是true,也就是说你不进行任何配置,所有字段都会被索引。
但是有些字段是我们不希望被索引的,比如企业的logo图片地址,就需要手动设置index为false。
3.3.3 store
是否将数据进行独立存储。
原始的文本会存储在_source里面,默认情况下其他提取出来的字段都不是独立存储的,是从_source里面提取出来的。
当然你也可以独立的存储某个字段,只要设置store:true即可,获取独立存储的字段要比从_source中解析快得多,但是也会占用更多的空间,所以要根据实际业务需求来设置,默认为false。
3.3.4 analyzer
analyzer:指定分词器
一般我们处理中文会选择ik分词器
- ik_max_word(常用) :会将文本做最细粒度的拆分
- ik_smart: 会做最粗粒度的拆分
3.4 查看映射关系
//查看单个索引映射关系
GET /lagou-company-index/_mapping
//查看所有索引映射关系
GET _mapping
//查看所有索引映射关系
GET _all/_mapping
4. 文档操作
文档,即索引库中的数据,会根据规则创建索引,将来用于搜索。可以类比做数据库中的一行数据。
4.1 新增文档
id可以手动指定或者自动生成
POST /索引名称/_doc/{id}
POST /lagou-company-index/_doc/1
{
"name" : "百度",
"job" : "小度用户运营经理",
"payment" : "30000",
"logo" :
"http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}
4.2 查看单个文档
GET /索引名称/_doc/{id}
GET /lagou-company-index/_doc/1
//定制返回结果
GET /lagou-company-index/_doc/1?_source=name,job
{
"_index" : "lagou-company-index",
"_type" : "_doc",
"_id" : "1",
"_version" : 2,
"_seq_no" : 1,
"_primary_term" : 1,
"found" : true,
"_source" : {
"name" : "百度",
"job" : "JAVA开发",
"payment" : "20000",
"logo" : "http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}
}
| 元数据项 | 含义 |
|---|---|
| _index | document所属index |
| _type | document所属type,Elasticsearch7.x默认type为_doc |
| _id | 代表document的唯一标识,与index和type一起,可以唯一标识和定位一个document |
| _version | document的版本号,Elasticsearch利用_version (版本号)的方式来确保应用中相互冲突的变更不会导致数据丢失。需要修改数据时,需要指定想要修改文档的version号,如果该版本不是当前版本号,请求将会失败 |
| _seq_no | 严格递增的顺序号,每个文档一个,Shard级别严格递增,保证后写入的Docseq_no大于先写入的Doc的seq_no |
| _primary_term | 任何类型的写操作,包括index、create、update和Delete,都会生成一个_seq_no。 |
| found | true/false,是否查找到文档 |
| _source | 存储原始文档 |
4.3 查看所有文档
POST /lagou-company-index/_search
{
"query":{
"match_all": {
}
}
}
4.4 修改文档
4.4.1 全部更新
新增的请求方式改为PUT,指定Id
- id对应文档存在,则修改
- id对应文档不存在,则新增
全部更新,是直接把之前的老数据,标记为删除状态,然后,再添加一条更新的(使用PUT或者POST)
PUT /lagou-company-index/_doc/1
{
"name" : "百度111",
"job" : "小度用户运营经理11",
"payment" : "30000",
"logo" :
"http://www.lgstatic.com/thubnail_120x120/i/image/M00/21/3E/CgpFT1kVdzeAJNbUAABJB7x9sm8374.png"
}
4.4.2 局部更新
只是修改某个字段(使用POST)
POST /索引名/_update/{id}
{
"doc":{
"field":"value"
}
}
POST /lagou-company-index/_update/1
{
"doc": {
"name": "yangzhen"
}
}
4.5 删除文档
- 根据id进行删除:
DELETE /索引名/_doc/{id}
- 根据查询条件进行删除
POST /索引库名/_delete_by_query
{
"query": {
"match": {
"字段名": "搜索关键字"
}
}
}
- 删除所有文档
POST 索引名/_delete_by_query
{
"query": {
"match_all": {}
}
}