其他分享
首页 > 其他分享> > ElasticSearch介绍和基本用法(二)

ElasticSearch介绍和基本用法(二)

作者:互联网

2.ElasticSearch练习

 

 

PUT /sms_logs_index/sms_logs_type/1
{
  "corpName": "途虎养车",
  "createDate": "2020-1-22",
  "fee": 3,
  "ipAddr": "10.123.98.0",
  "longCode": 106900000009,
  "mobile": "1738989222222",
  "operatorid": 1,
  "province": "河北",
  "relyTotal": 10,
  "sendDate": "2020-2-22",
  "smsContent":   "【途虎养车】亲爱的灯先生,您的爱车已经购买",
  "state": 0
}

3. ES的各种查询

4.1 term&terms查询

4.1.1 term查询

term的查询是代表完全匹配,搜索之前不会对你搜索的关键字进行分词,对你的关键字去文档分词库中去匹配内容。

#term匹配查询 查询身份是北京的数据
POST /sms_logs_index/sms_logs_type/_search
{
  // limit  from,size返回5条数据
  "from": 0,  
  "size": 5,
  "query": {
    "term": { // term查询
      "province": {
        "value": "河北"
      }
    }
  }
}
##完成的匹配,不会对term中所匹配的值进行分词查询

4.1.2terms查询

terms是针对一个字段包含多个值得运用

类似where province = 河北 or province = xxx or province = xxxx

#terms 匹配查询省份是河北或者河南的数据
POST /sms_logs_index/sms_logs_type/_search
{
  "from": 0,
  "size": 5,
  "query": {
    "terms": {
      "province": [
        "河北",
        "河南",
        "武汉"
      ]
    }
  }
}

4.2 match查询
match查询属于高层查询,它会根据你查询字段类型不一样,采用不同的查询方式

match查询,实际底层就是多个term查询,将多个term查询的结果进行了封装

4.2.1 match_all查询

查询全部内容,不指定任何查询条件,但只展示10条

 

POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "match_all": {}
  }
}

4.2.2 match查询 根据某个Field

指定一个Field作为筛选条件

POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "match": {
      // 收货安装 会进行分词查询
      "smsContent": "收货安装"
    }
  }
}

4.2.3 布尔match查询

基于一个Filed匹配的内容,采用and或者or的方式进行连接

# 布尔match查询
POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "match": {
      "smsContext": {
        // 查询smsContext既包含 中国 又包括 健康
        "query": "中国 健康",
        "operator": "and"   #or
      }
    }
  }
}

4.2.4 multi_match查询

match针对一个field做检索,multi_match针对多个field进行检索,多个key对应一个text

# 查询 "province","smsContext" 包含 北京 的数据
POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "multi_match": {
      "query": "河北",  // 指定text
      "fields": ["province","smsContext"] //指定field
    }
  }
}

4.3 ES 的其他查询

4.3.1 ID 查询

# id查询
GET /sms_logs_index/sms_logs_type/1
GET /索引名/type类型/id

4.3.2 ids查询

根据多个id进行查询,类似MySql中的where Id in (id1,id2,id3….)

POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "ids": {
      "values": [1,2,3]  #id值
    }
  }
}

4.3.3 prefix查询

前缀查询,可以通过一个关键字去指定一个Field的前缀,从而查询到指定的文档

POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "prefix": {
      "corpName": {
        "value": "河"
      }
    }
  }
}
#与 match查询的不同在于,prefix类似mysql中的模糊查询。而match的查询类似于严格匹配查询
# 针对不可分割词keyword

4.3.4 fuzzy查询

fuzzy查询:模糊查询,我们可以输入一个字符的大概,ES就可以根据输入的内容大概去匹配一下结果,eg.你可以存在一些错别字

#fuzzy查询
#fuzzy查询
POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "fuzzy": {
      "corpName": {
        "value": "盒马生鲜",
        "prefix_length": 2  # 指定前几个字符要严格匹配
      }
    }
  }
}

#不稳定,查询字段差太多也可能查不到

4.3.5 wildcard查询

通配查询,与mysql中的like查询是一样的,可以在查询时,在字符串中指定通配符*和占位符?

#wildcard查询
POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "wildcard": {
      "corpName": {
        "value": "*车"   # 可以使用*和?指定通配符和占位符
      }
    }
  }
}
# ?代表一个占位符
# ??代表两个占位符

4.3.6 range查询

范围查询,只针对数值类型,对某一个Field进行大于或者小于的范围指定

POST /sms_logs_index/sms_logs_type/_search
{
 "query": {
   "range": {
     "fee": {
       "gte": 0,  
       "lte": 3
     }
   }
 }
}

#查询范围:[gte,lte]
#查询范围:(gt,lt)

4.3.7 regexp查询

正则查询,通过你编写的正则表达式去匹配内容

PS: **prefix,fuzzy,wildcar和regexp查询效率相对比较低,**在对效率要求比较高时,避免去使用

POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "regexp": {
      "mobile": "180[0-9]{8}" //匹配的正则规则
    }
  }
}

4.4 深分页Scroll

ES对from+size这种分页形式是有限制,from和size两者之和不能超过1w,超过之后效率非常慢

原理:

from+size  
ES查询数据的方式:
  1  先将用户指定的关键词进行分词处理
  2  将词汇去分词库中进行检索,得到多个文档的id
  3  去各个分片中拉去指定的数据   耗时
  4  根据数据的得分进行排序       耗时
  5  根据from的值,将查询到的数据舍弃一部分
  6  返回查询结果

Scroll+size    
在ES中查询方式:
  1  先将用户指定的关键词进行分词处理
  2  将词汇去分词库中进行检索,得到多个文档的id
  3  将文档的id存放在一个ES的上下文中,ES内存
  4  根据你指定给的size的个数去ES中检索指定个数的数据,拿完数据的文档id,会从上下文中移除
  5  如果需要下一页的数据,直接去ES的上下文中(内存中),找后续内容
  6  循环进行4.5操作
# 执行scroll查询,返回第一页数据,并且将文档id信息存放在ES的上下文中,1m是保存id一分钟,指定生存时间
POST /sms_logs_index/sms_logs_type/_search?scroll=1m
{
  "query": {
    "match_all": {}
  },
  "size": 2,
    // 默认是按照id排序
  "sort": [
    {
      "fee": {
        "order": "desc"
      }
    }
  ]
}
# 查询下一页的数据
POST /_search/scroll
{
  "scroll_id": "DnF1ZXJ5VGhlbkZldGNoAwAAAAAAACSPFnJjV1pHbENVVGZHMmlQbHVZX1JGdmcAAAAAAAAkkBZyY1daR2xDVVRmRzJpUGx1WV9SRnZnAAAAAAAAJJEWcmNXWkdsQ1VUZkcyaVBsdVlfUkZ2Zw==",
  "scoll" :"1m"  // scorll信息的生存时间
}
# 删除scroll在ES中上下文的数据
DELETE /_search/scroll/scroll_id

4.5 delete-by-query

根据term,match等查询方式去删除大量的文档

如果你需要删除的内容,是index下的大部分数据,不建议使用,建议逆向操作,创建新的索引,添加需要保留的数据内容

POST /sms_logs_index/sms_logs_type/_delete_by_query
{
  // 正常的查询语句
  "query": {
    "range": {
      "relyTotal": {
        "gte": 2,
        "lte": 3
      }
    }
  }
}

## 中间跟你的查询条件,查到什么,删什么

4.6 复合查询

4.6.1 bool查询

复合过滤器,可以将多个查询条件以一定的逻辑组合在一起,and or

#查询省份为 河北 或者 河南 的
#并且公司名不是 河马生鲜 的
#并且smsContent中包含 中国 平安 两个字
POST /sms_logs_index/sms_logs_type/_search
{
  "query": {
    "bool": {
      // 或者
      "should": [
        {
          "term": {
            "province": {
              "value": "河北"
            }
          }
        },
        {
          "term": {
            "province": {
              "value": "河南"
            }
          }
        }
      ],
      // 非not
         "must_not": [
           {
             "term": {
               "corpName": {
                 "value": "河马生鲜"
                   }
                }
           }
         ],
      // 必须包含
         "must": [
           {
             "match": {
               "smsContext": "中国"
             }
          },
        {
             "match": {
               "smsContext": "平安"
             }
          }
         ]
    }
  }
}

4.6.2 boosting 查询

boosting 查询可以帮助我们去影响查询后的score

关于查询时,分数时如何计算的:

#boosting 查询
POST /sms-logs-index/sms-logs-type/_search
{
  "query": {
    "boosting": {
      "positive": {
        "match": {
          "smsContent": "战士"
        }
      }, 
      "negative": {
        "match": {
          "smsContent": "团队"
        }
      },
      "negative_boost": 0.2
    }
  }
}

4.7 filter 查询
query 查询:根据你的查询条件,去计算文档的匹配度得到一个分数,并根据分数排序,不会做缓存的。用于获取匹配度最高大的数据

filter 查询:根据查询条件去查询文档,不去计算分数,也就不用排序,而且filter会对经常被过滤的数据进行缓存。不需要关注匹配的数据,追求效率

#filter 查询
POST /sms-logs-index/sms-logs-type/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "corpName": "海尔智家公司"
           }
        },
        {
          "range":{
            "fee":{
              "lte":50
            }
          }
        }
      ]
    }
  }
}

4.8 高亮查询
高亮查询就是用户输入的关键字,以一定特殊样式展示给用户,让用户知道为什么这个结果被检索出来

高亮展示的数据,本身就是文档中的一个field,单独将field以highlight的形式返回给用户

ES提供了一个highlight 属性,他和query 同级别。

#highlight 高亮查询
POST /sms-logs-index/sms-logs-type/_search
{
  "query": {
    "match": {
      "smsContent": "团队"
    }
  },
  "highlight": {
    "fields": {
      "smsContent":{}
    },
    "pre_tags":"<font color='red'>",
    "post_tags":"</font>",
    "fragment_size":10
  }
}
# 返回时会新增highlight
 

标签:index,logs,sms,介绍,查询,ElasticSearch,query,用法,match
来源: https://www.cnblogs.com/xiaotian0422/p/16689419.html