其他分享
首页 > 其他分享> > ElasticSearch学习

ElasticSearch学习

作者:互联网

ElasticSearch(中文官网)

之前在蟹老板手下干命的日子里,我给公司搭建了一套LEK,收集我们测试环境、生成环境,每个服务运行状态,以及bug及时定位,现在在新东家ElasticSearch除了做日志收集,还会保存业务数据文档,提升查询效率。

在上次写的“使用ElasticSearch、Kibana、Docker 进行日志收集” 介绍了如何进行环境搭建,以及日志数据收集。

Elasticsearch 基本操作

dev_tools命令执行面板

dev_toolsKibana 提供的命令执行面板,当然大家也会看到其他人使用Postman调用ElasticSearch接口,但是我还是喜欢使用dev_tools(如果安装了Kibana就可以使用,也可以使用Postman)

索引操作

关于索引操作我列举了一些常用的api,大家可以根据我给出的文档连接详细的阅读文档,抛砖引你。

创建索引

索引必须小写,不支持大写,重复创建索引会报错

# 创建索引
PUT /test_dawn
{
  
}

# 返回结果
# 注意:创建索引库的分片数默认 1 片,在 7.0.0 之前的 Elasticsearch 版本中,默认 5 片
{
  # 【响应结果】true 操作成功
  "acknowledged" : true,
  # 【分片结果】分片操作成功
  "shards_acknowledged" : true,
  # 【索引名称】
  "index" : "test_dawn"
}

查看所有索引详细信息

GET /_cat/indices?v

名称 含义
health 当前服务器健康状态,green(集群完整),yellow(单点正常,集群不完整),red(单点异常)
status 索引打开、关闭
index 索引名
uuid 索引统一编号
pri 主分片数量
rep 副本数量
docs.count 可用文档数量
docs.deleted 文档删除状态(逻辑删除)
store.size 主分片和副分片整体占空间大小
pri.store.size 主分片占空间大小

查看单个索引

# 查看test_dawn索引信息
GET /test_dawn

# 返回参数
{
  # 索引名
  "test_dawn" : {
    # 别名
    "aliases" : { },
    # 映射
    "mappings" : { },
    # 设置
    "settings" : {
      "index" : {
        # 创建时间
        "creation_date" : "1659450485862",
        # 主分片数量
        "number_of_shards" : "1",
        # 副分片数量
        "number_of_replicas" : "1",
        # 唯一标识
        "uuid" : "Gsu7-arFRJmju1p3_5wSOQ",
        "version" : {
          "created" : "7090299"
        },
        # 名称
        "provided_name" : "test_dawn"
      }
    }
  }
}

删除索引

删除不存在的索引会报错

DELETE /test_dawn

创建映射

提醒:索引不存在会报错
创建映射就相当于,创建表需要添加字段、字段类型的操作(后面讲到文档操作的时候我们也可以直接添加属性,ElasticSearc会自动推断我们添加的属性使用什么类型)ElasticSearc属性类型

# 创建映射
PUT /test_dawn/_mapping
{
  "properties":{
    "name": {
      # 支持分词,但是不支持分组
      "type": "text",
      # 字段会被索引,则可以用来进行搜索,反之
      "index": true,
      # 是否将数据进行独立存储,默认为 false
      "store": false,
      # 分词器只能在text 类型下使用
      # 指定该属性使用那个分词器
      "analyzer": "ik_max_word"
    },
    "age": {
      "type": "integer",
      "index": true,
      "store": false
    },
     "gender": {
      # 不能分词,数据会作为完整字段进行匹配,支持分组操作
      "type": "keyword",
      "index": true,
      "store": false
    }
  }
}

查看映射

# 查看映射
GET /test_dawn/_mapping

store_source 对比

默认情况下,字段值被索引以使它们可搜索,但它们不被存储。这意味着可以查询该字段,但无法检索原始字段值。
通常这无关紧要。字段值已经 是默认存储的_source字段的一部分。如果您只想检索单个字段或几个字段的值,而不是整体_source,则可以通过 源过滤来实现。
在某些情况下,它对一个领域是有意义store的。例如,如果您有一个包含 a title、 adate和一个非常大的content 字段的文档,您可能只想检索 thetitle和 thedate而不必从一个大字段中提取这些字段_source

文档操作

添加文档

# 添加一个文档
POST /test_dawn/_doc
{
 "title":"少年说",
 "category":"青春",
 "images":"http://baidu.com"
}

# 返回参数
{
  # 索引
  "_index" : "test_dawn",
  # 文档类型,默认是_doc 在老版中有应用场景,不过到8.0版本就开始淡化、抛弃
  "_type" : "_doc",
  # 文档唯一id 可以手动指定,或者自动生成
  "_id" : "evQSaYIBhcAYjjJxxtf3",
  # 当前文档本版,每次对该文档进行操作会+1
  "_version" : 1,
  # 当前操作类型,还有update
  "result" : "created",
  # 分片
  "_shards" : {
    # 分片总数量
    "total" : 2,
    # 分片成功数量
    "successful" : 1,
    # 分片失败数量
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}

手动指定Id

查看文档

# 查看文档
GET /test_dawn/_doc/1234567890

# 返回参数
{
  "_index" : "test_dawn",
  "_type" : "_doc",
  "_id" : "1234567890",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  # 如果找到了为true
  "found" : true,
  "_source" : {
    "title" : "少年说",
    "category" : "青春",
    "images" : "http://baidu.com"
  }
}

修改文档

刚才我们指定id创建文档,还有一个作用如果该id 存在就修改文档(全字段覆盖修改)

# 指定id 或者 如果该id 存在就修改文档(全字段覆盖修改)
POST /test_dawn/_doc/1234567890
{
 "title":"少年说",
 "category":"青春"
}

使用该命令一定要注意注意,它是覆盖式的(工作事小,老婆跑了事大)

指定字段更新

删除文档

# 删除文档
DELETE /test_dawn/_doc/1234567890

条件删除

# 条件删除
POST /test_dawn/_delete_by_query
{
  "query": {
    "match": {
      "title": "少年说"
    }
  }
}

查询DSL

Elasticsearch 提供了基于 JSON 的完整 Query DSL(Domain Specific Language)来定义查询。将查询 DSL 视为查询的 AST(抽象语法树)由两种类型的子句组成:

允许昂贵的查询
某些类型的查询由于它们的实现方式,通常会执行缓慢,这会影响集群的稳定性。这些查询可以分类如下:

match查询

match查询是执行全文搜索的标准查询,包括模糊匹配选项。

# 全文搜索的标准查询,包括模糊匹配
GET /test_dawn/_search
{
 "query": {
     "match": {
        "title": "少年"
       }
 } 
}

term查询

您可以使用term查询根据价格、产品 ID 或用户名等精确值查找文档。
避免使用字段term查询。text
默认情况下,Elasticsearch 会在分析text过程中更改字段的值。这会使查找字段值的精确匹配变得困难。text
要搜索text字段值,请改用match查询。

# 精确查询
GET /test_dawn/_search
{
  "query": {
    "term": {
      "_id": "vxvNeIIB7oKD63DUcC9h"
    }
  }
}

复合查询

复合查询包装其他复合查询或叶查询,以组合它们的结果和分数,改变它们的行为,或者从查询切换到过滤上下文。

用于组合多个叶或复合查询子句的默认查询,如 must或子句。and子句将 它们的分数组合在一起——匹配的子句越多越好——而and子句在过滤上下文中执行。 should must_not filter mustshould must_notfilter

返回匹配positive查询的文档,但减少也匹配negative查询的文档的分数。

包装另一个查询,但在过滤器上下文中执行它的查询。所有匹配的文档都被赋予相同的“常量” _score

接受多个查询并返回与任何查询子句匹配的任何文档的查询。虽然bool查询结合了所有匹配查询的分数,但dis_max查询使用单个最佳匹配查询子句的分数。

使用函数修改主查询返回的分数,以考虑流行度、新近度、距离或使用脚本实现的自定义算法等因素。

bool查询

匹配与其他查询的布尔组合匹配的文档的查询。bool 查询映射到 Lucene BooleanQuery。它是使用一个或多个布尔子句构建的,每个子句都有一个类型的出现。出现类型有:

名称 描述
must 子句(查询)必须出现在匹配的文档中,并将有助于得分。
filter 子句(查询)必须出现在匹配的文档中。然而,与 must查询的分数不同,将被忽略。过滤器子句在过滤器上下文中执行,这意味着忽略评分并考虑缓存子句。
should 子句(查询)应该出现在匹配的文档中。
must_not 子句(查询)不得出现在匹配的文档中。子句在过滤器上下文中执行,这意味着忽略评分并考虑缓存子句。因为忽略了评分,0所以返回所有文档的评分。

该bool查询采用更多匹配更好的方法,因此每个匹配must或should子句的分数将加在一起以提供_score每个文档的最终结果。

# 符合查询,其实我们只要记住:must(必须 )、must_not(必须不)、should(应该)的方式进行组合就可以了
GET /test_dawn/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "_id": "vxvNeIIB7oKD63DUcC9h"
          }
        }
      ],
      "should": [
        {
          "match": {
            "title": "少年说"
          }
        }
      ]
    }
  }
}

总结

标签:查询,学习,索引,文档,子句,test,ElasticSearch,dawn
来源: https://www.cnblogs.com/chenxi001/p/16545552.html