ES的写入与查询的工作原理
作者：互联网
一、ES写数据的大致步骤：
1、客户端发送请求过来一条数据（document）
随机选择集群中的一个节点Node2（此时Node2就是协调节点），对数据hash一下，来决定数据要写到哪个shard上去
2、协同节点将数据路由到对应的primary shard上去
3、primary shard写完数据，并将数据同步到其他replica shard上去
4、当协同节点感知shard写完病同步完，会返回写成功的响应结果给客户端。
二、数据写入primary shard的原理：
1、数据是先写入内存buffer的，同时数据写入translog日志文件中，此时ES客户端是查询不到这条数据的；
2、若buffer快满了或者到一定时间，就会将buffer数据refresh到一个新的segment file磁盘文件中，但此时数据不是直接进入segment file，而是先进入os cache的，这个过程就是refresh
每隔1秒，es将buffer中的数据写入一个新的segment file，每秒产生一个新的磁盘文件segment file，这个segment file中就存储最近1秒内buffer中写入的数据，但buffer内此时没有数据就不执行refresh操作，buffer里有数据，默认1秒执行一次refresh操作，刷入一个新的segment file 中
数据写入segment file之前，会先写入Os cache操作系统缓存中去
只要buffer中数据被refresh，刷入os cache中就代表这个数据可以被搜索到了
只要数据被刷入os cache中，buffer就会被清空了，因为不需要保留buffer了，数据在translog文件里面已经持久化到磁盘去一份了。
注：为什么ES是准实时的？NRT,near real-time准实时，默认每隔1秒refresh一次，所以ES是准实时的，因为写入的数据1秒后才能被看到。可以通过es的restful api或者 java api手动refresh，让数据立马被搜索到。
3、只要数据进入os cache，此时就可以让这个segment file的数据对外提供搜索了
4、重复1-3步，translog日志文件会变得越来越大，当达到一定阈值时，触发commit操作
buffer的数据每隔1秒被刷到os cache中去就被清空了，故buffer的数据始终可以保持住，不会填满es进程的内存的。
每写一条数据到buffer，同时会写入一条到translog日志文件中去；
5、commit操作发生的第一步，就是将buffer中现有的数据refresh到os cache中去，清空buffer
6、将一个commit point写入到磁盘文件，里面标识着这个commit point对应的所有segment file
7、强行将os cache中目前所有的数据都fsync全量同步到磁盘文件中去
translog日志文件的作用？执行commit之前，数据是停留在buffer或者os cache中的，一旦机器宕机了，内存中的数据就全丢了。所以要将对应的数据写入一个专门的日志文件translog中，一旦机器宕机，再次重启的时候，ES会自动读取translog文件日志数据并恢复到内存buffer和os cache中去
8、将现有的translog清空，然后再次重启启用一个新的translog,此时commit操作完成
默认每30分钟会自动执行一次commit，但若translog过大也会触发commit
整个commit过程也叫flush操作，可以通过es api手动执行flush操作将所有os cache数据刷到磁盘文件中去；
9、translog其实也是先写入os cache的，默认每隔5秒刷一次到磁盘中去，所以默认情况下可能有5秒的数据会仅仅停留在buffer或者translog的os cache中，若此时机器宕机了会丢失5秒的数据，也可以将translog设置成每次写操作必须直接fsync到磁盘，但性能会差很多。
10、如果是删除操作，commit时会生成一个.del文件，里面将某个doc标识为deleted状态，那么搜索时根据.del文件就知道这个doc被删除了
11、若是更新操作，就是将原来的doc标识为deleted状态，然后新写入一条数据。
12、buffer每refresh一次，就会产生一个segment file文件，所有默认情况下是1秒一个segment file文件，segment file会越来越多，此时会定期执行merge操作合并文件；
13、每次merge时，会将多个segment file合并成一个，同时这里会讲标识为deleted的doc给物理删除掉，然后将新的segmentfile写入磁盘，这里会写一个commit point标识所有新的segment file，然后打开segment file共搜索使用，同时删除旧的segment file。
三、ES读数据的过程：
1、客户端发送请求到任意node，成为coordinate node协同节点
2、协同节点对document进行路由，将请求转发到对应的node，此时会使用round- robin随机轮询算法，在primary shard以及其所有replica中随机选择一个，让读请求负载均衡；
3、接受请求的node返回document给协同节点
4、协同节点返回document给客户端；
注：写入了某个document，会自动分配一个全局唯一的ID->doc ID，同时也是根据docid进行hash路由到对应的primary shard上去
可以通过docid来查询，根据docid进行hash来判断当时把do I'd分配到哪个shard上去，从哪个shard去查询
四、ES搜索数据的过程：全文检索
1、客户端发送请求到一个coordinate node
2、协调节点将搜索请求转发到所有的shard对应的primary shard或者replica shard
3、query phase:每个shard将自己的搜索结果（其实就是一些docid）返回给协调节点，由协调节点进行数据合并、排序、分页等操作，生产出最终结果；
4、fetch phase:接着由协调节点，根据docid去各个节点上拉取实际的document数据，最终返回给客户端。
标签：buffer,segment,写入,shard,查询,file,数据,ES 来源： https://www.cnblogs.com/blackdd/p/16345714.html