|NO.Z.00063|——————————|BigDataEnd|——|Hadoop&kafka.V48|-------------------------------------------|ka

---

[BigDataHadoop：Hadoop&kafka.V48]                                                                          [BigDataHadoop.kafka][|章节二|Hadoop生态圈技术栈|kafka|日志存储索引|偏移量索引|时间戳索引|]

---

---

一、时间戳索引

### --- 时间戳

~~~     在偏移量索引文件中，索引数据都是顺序记录 offset ，
~~~     但时间戳索引文件中每个追加的索引时间戳必须大于之前追加的索引项，否则不予追加。
~~~     在 Kafka 0.11.0.0 以后，消息信息中存在若干的时间戳信息。
~~~     如果 broker 端参数 log.message.timestamp.type 设置为 LogAppendTIme ，
~~~     那么时间戳必定能保持单调增长。反之如果是 CreateTime 则无法保证顺序。
~~~     通过时间戳方式进行查找消息，需要通过查找时间戳索引和偏移量索引两个文件。
~~~     时间戳索引索引格式：前八个字节表示时间戳，后四个字节表示偏移量。

### --- 思考：查找时间戳为 1557554753430 开始的消息？

~~~     查找该时间戳应该在哪个日志分段中。
~~~     将1557554753430和每个日志分段中最大时间戳largestTimeStamp逐一对比，
~~~     直到找到不小于1557554753430所对应的日志分段。
~~~     日志分段中的largestTimeStamp的计算是：
~~~     先查询该日志分段所对应时间戳索引文件，找到最后一条索引项，
~~~     若最后一条索引项的时间戳字段值大于0，则取该值，否则取该日志分段的最近修改时间。
~~~     查找该日志分段的偏移量索引文件，查找该偏移量对应的物理地址。
~~~     日志文件中从 320 的物理位置开始查找不小于 1557554753430 数据。
~~~     注意：timestamp文件中的 offset 与 index 文件中的 relativeOffset 不是一一对应的，
~~~     因为数据的写入是各自追加。

---

===============================END===============================

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart                                                                                                                                                   ——W.S.Landor

---

来自为知笔记(Wiz)

标签：分段,v03,偏移量,kafka,索引,时间,日志
来源： https://www.cnblogs.com/yanqivip/p/16121917.html