ElasticSearch介绍和基本用法(二)
作者：互联网
2.ElasticSearch练习
-
索引 ： sms-logs-index
-
类型：sms-logs-type
- 数据导入部分
PUT /sms_logs_index/sms_logs_type/1
{
"corpName": "途虎养车",
"createDate": "2020-1-22",
"fee": 3,
"ipAddr": "10.123.98.0",
"longCode": 106900000009,
"mobile": "1738989222222",
"operatorid": 1,
"province": "河北",
"relyTotal": 10,
"sendDate": "2020-2-22",
"smsContent": "【途虎养车】亲爱的灯先生，您的爱车已经购买",
"state": 0
}
3. ES的各种查询
4.1 term&terms查询
4.1.1 term查询
term的查询是代表完全匹配，搜索之前不会对你搜索的关键字进行分词，对你的关键字去文档分词库中去匹配内容。
#term匹配查询 查询身份是北京的数据
POST /sms_logs_index/sms_logs_type/_search
{
// limit from,size返回5条数据
"from": 0,
"size": 5,
"query": {
"term": { // term查询
"province": {
"value": "河北"
}
}
}
}
##完成的匹配，不会对term中所匹配的值进行分词查询
4.1.2terms查询
terms是针对一个字段包含多个值得运用
类似where province = 河北 or province = xxx or province = xxxx
#terms 匹配查询省份是河北或者河南的数据
POST /sms_logs_index/sms_logs_type/_search
{
"from": 0,
"size": 5,
"query": {
"terms": {
"province": [
"河北",
"河南",
"武汉"
]
}
}
}
4.2 match查询
match查询属于高层查询，它会根据你查询字段类型不一样，采用不同的查询方式
match查询，实际底层就是多个term查询，将多个term查询的结果进行了封装
- 查询的如果是日期或者是数值的话，它会基于你的字符串查询内容转换为日期或者是数值对待
- 如果查询的内容是一个不可被分的内容（keyword），match查询不会对你的查询的关键字进行分词
- 如果查询的内容是一个可被分的内容（text），match则会将你指定的查询内容按照一定的方式去分词，去分词库中匹配指定的内容
4.2.1 match_all查询
查询全部内容，不指定任何查询条件，但只展示10条
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"match_all": {}
}
}
4.2.2 match查询 根据某个Field
指定一个Field作为筛选条件
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"match": {
// 收货安装 会进行分词查询
"smsContent": "收货安装"
}
}
}
4.2.3 布尔match查询
基于一个Filed匹配的内容，采用and或者or的方式进行连接
# 布尔match查询
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"match": {
"smsContext": {
// 查询smsContext既包含 中国 又包括 健康
"query": "中国 健康",
"operator": "and" #or
}
}
}
}
4.2.4 multi_match查询
match针对一个field做检索，multi_match针对多个field进行检索，多个key对应一个text
# 查询 "province","smsContext" 包含 北京 的数据
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"multi_match": {
"query": "河北", // 指定text
"fields": ["province","smsContext"] //指定field
}
}
}
4.3 ES 的其他查询
4.3.1 ID 查询
# id查询 GET /sms_logs_index/sms_logs_type/1 GET /索引名/type类型/id
4.3.2 ids查询
根据多个id进行查询，类似MySql中的where Id in (id1,id2,id3….)
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"ids": {
"values": [1,2,3] #id值
}
}
}
4.3.3 prefix查询
前缀查询，可以通过一个关键字去指定一个Field的前缀，从而查询到指定的文档
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"prefix": {
"corpName": {
"value": "河"
}
}
}
}
#与 match查询的不同在于，prefix类似mysql中的模糊查询。而match的查询类似于严格匹配查询
# 针对不可分割词keyword
4.3.4 fuzzy查询
fuzzy查询：模糊查询，我们可以输入一个字符的大概，ES就可以根据输入的内容大概去匹配一下结果，eg.你可以存在一些错别字
#fuzzy查询
#fuzzy查询
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"fuzzy": {
"corpName": {
"value": "盒马生鲜",
"prefix_length": 2 # 指定前几个字符要严格匹配
}
}
}
}
#不稳定，查询字段差太多也可能查不到
4.3.5 wildcard查询
通配查询，与mysql中的like查询是一样的，可以在查询时，在字符串中指定通配符*和占位符？
#wildcard查询
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"wildcard": {
"corpName": {
"value": "*车" # 可以使用*和？指定通配符和占位符
}
}
}
}
# ?代表一个占位符
# ??代表两个占位符
4.3.6 range查询
范围查询，只针对数值类型，对某一个Field进行大于或者小于的范围指定
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"range": {
"fee": {
"gte": 0,
"lte": 3
}
}
}
}
#查询范围:[gte,lte]
#查询范围：(gt,lt)
4.3.7 regexp查询
正则查询，通过你编写的正则表达式去匹配内容
PS: **prefix,fuzzy,wildcar和regexp查询效率相对比较低,**在对效率要求比较高时，避免去使用
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"regexp": {
"mobile": "180[0-9]{8}" //匹配的正则规则
}
}
}
4.4 深分页Scroll
ES对from+size这种分页形式是有限制，from和size两者之和不能超过1w，超过之后效率非常慢
原理：
from+size ES查询数据的方式： 1 先将用户指定的关键词进行分词处理 2 将词汇去分词库中进行检索，得到多个文档的id 3 去各个分片中拉去指定的数据 耗时 4 根据数据的得分进行排序 耗时 5 根据from的值，将查询到的数据舍弃一部分 6 返回查询结果 Scroll+size 在ES中查询方式： 1 先将用户指定的关键词进行分词处理 2 将词汇去分词库中进行检索，得到多个文档的id 3 将文档的id存放在一个ES的上下文中，ES内存 4 根据你指定给的size的个数去ES中检索指定个数的数据，拿完数据的文档id,会从上下文中移除 5 如果需要下一页的数据，直接去ES的上下文中（内存中），找后续内容 6 循环进行4.5操作
-
不会直接拉取数据，是存储对应数据的id，需要数据时在根据id去拿；而from则是直接获取数据
-
缺点，Scroll是从内存中去拿去数据的，不适合做实时的查询，拿到的数据不是最新的
# 执行scroll查询，返回第一页数据，并且将文档id信息存放在ES的上下文中，1m是保存id一分钟，指定生存时间
POST /sms_logs_index/sms_logs_type/_search?scroll=1m
{
"query": {
"match_all": {}
},
"size": 2,
// 默认是按照id排序
"sort": [
{
"fee": {
"order": "desc"
}
}
]
}
# 查询下一页的数据
POST /_search/scroll
{
"scroll_id": "DnF1ZXJ5VGhlbkZldGNoAwAAAAAAACSPFnJjV1pHbENVVGZHMmlQbHVZX1JGdmcAAAAAAAAkkBZyY1daR2xDVVRmRzJpUGx1WV9SRnZnAAAAAAAAJJEWcmNXWkdsQ1VUZkcyaVBsdVlfUkZ2Zw==",
"scoll" :"1m" // scorll信息的生存时间
}
# 删除scroll在ES中上下文的数据
DELETE /_search/scroll/scroll_id
4.5 delete-by-query
根据term，match等查询方式去删除大量的文档
如果你需要删除的内容，是index下的大部分数据，不建议使用，建议逆向操作，创建新的索引，添加需要保留的数据内容
POST /sms_logs_index/sms_logs_type/_delete_by_query
{
// 正常的查询语句
"query": {
"range": {
"relyTotal": {
"gte": 2,
"lte": 3
}
}
}
}
## 中间跟你的查询条件，查到什么，删什么
4.6 复合查询
4.6.1 bool查询
复合过滤器，可以将多个查询条件以一定的逻辑组合在一起，and or
- must：所有的条件，用must组合在一起，表示AND
- must_not：将must_not中的条件，全部不能匹配，表示not的意思，不能匹配该查询条件
- should：所有条件，用should组合在一起，表示or的意思，文档必须匹配一个或者多个查询条件
- filter：过滤器，文档必须匹配该过滤条件，跟must子句的唯一区别是，filter不影响查询的score
#查询省份为 河北 或者 河南 的
#并且公司名不是 河马生鲜 的
#并且smsContent中包含 中国 平安 两个字
POST /sms_logs_index/sms_logs_type/_search
{
"query": {
"bool": {
// 或者
"should": [
{
"term": {
"province": {
"value": "河北"
}
}
},
{
"term": {
"province": {
"value": "河南"
}
}
}
],
// 非not
"must_not": [
{
"term": {
"corpName": {
"value": "河马生鲜"
}
}
}
],
// 必须包含
"must": [
{
"match": {
"smsContext": "中国"
}
}，
{
"match": {
"smsContext": "平安"
}
}
]
}
}
}
4.6.2 boosting 查询
boosting 查询可以帮助我们去影响查询后的score
- positive：只有匹配上positive 查询的内容，才会被放到返回的结果集中
- negative：如果匹配上了positive 也匹配上了negative, 就可以降低这样的文档score
- negative_boost：指定score系数，必须小于1，减小分数 0.5
关于查询时，分数时如何计算的：
- 搜索的关键字再文档中出现的频次越高，分数越高
- 指定的文档内容越短，分数越高。
- 我们再搜索时，指定的关键字也会被分词，这个被分词的内容，被分词库匹配的个数越多，分数就越高。
#boosting 查询
POST /sms-logs-index/sms-logs-type/_search
{
"query": {
"boosting": {
"positive": {
"match": {
"smsContent": "战士"
}
},
"negative": {
"match": {
"smsContent": "团队"
}
},
"negative_boost": 0.2
}
}
}
4.7 filter 查询
query 查询：根据你的查询条件，去计算文档的匹配度得到一个分数，并根据分数排序，不会做缓存的。用于获取匹配度最高大的数据
filter 查询：根据查询条件去查询文档，不去计算分数，也就不用排序，而且filter会对经常被过滤的数据进行缓存。不需要关注匹配的数据，追求效率
#filter 查询
POST /sms-logs-index/sms-logs-type/_search
{
"query": {
"bool": {
"filter": [
{
"term": {
"corpName": "海尔智家公司"
}
},
{
"range":{
"fee":{
"lte":50
}
}
}
]
}
}
}
4.8 高亮查询
高亮查询就是用户输入的关键字，以一定特殊样式展示给用户，让用户知道为什么这个结果被检索出来
高亮展示的数据，本身就是文档中的一个field,单独将field以highlight的形式返回给用户
ES提供了一个highlight 属性，他和query 同级别。
- frament_size：指定高亮数据展示多少个字符回来
- pre_tags：指定前缀标签
- post_tags：指定后缀标签
- fields：指定哪个字段以高亮显示，可以指定多个
#highlight 高亮查询
POST /sms-logs-index/sms-logs-type/_search
{
"query": {
"match": {
"smsContent": "团队"
}
},
"highlight": {
"fields": {
"smsContent":{}
},
"pre_tags":"<font color='red'>",
"post_tags":"</font>",
"fragment_size":10
}
}
# 返回时会新增highlight
标签：index,logs,sms,介绍,查询,ElasticSearch,query,用法,match 来源： https://www.cnblogs.com/xiaotian0422/p/16689419.html