lucene（9）
作者：互联网
2021SC@SDUSC
TokenStream
Lucene的analysis模块主要负责词法分析及语言处理而形成Term。
Lucene的index模块主要负责索引的创建，里面有IndexWriter。
Lucene的store模块主要负责索引的读写。
Lucene的QueryParser主要负责语法分析。
Lucene的search模块主要负责对索引的搜索。
Lucene的similarity模块主要负责对相关性打分的实现。
通过对文本的分析来建立TokenStreams(分词数据流)。TokenStream是由一个个Token(分词组成的数据流)。所以说Analyzer就代表着一个从文本数据中抽取索引词（Term）的一种策略。为了定义具体完成哪些分析工作，Analyzer的子类必须实行自己的createCompontents方法。这里也是我们进行中文扩展的主要切入口。
TokenStream即是从Document的域（field）中或者查询条件中抽取一个个分词而组成的一个数据流。TokenSteam中是一个个的分词，而每个分词又是由一个个的属性（Attribute）组成。对于所有的分词来说，每个属性只有一个实例。这些属性都保存在AttributeSource中，而AttributeSource正是TokenStream的父类。
TokenStream的工作流程：
1.实例化TokenStream, 添加属性到AttributeSource，或从AttributeSource中获取属性.
2.调用reset()方法，设置stream的初始状态
3.调用increamStoken()方法，来获取下一个分词。这个方法会被docuemnt中的每一个分词调用。所以一个有效的实现对于好的性能来说是至关重要的。
4.调用end（）方法来完成一些收尾工作
5.调用close()方法来释放stream关联的一些资源。
标签：Lucene,调用,lucene,模块,AttributeSource,TokenStream,分词 来源： https://blog.csdn.net/hhhhhigh/article/details/121597505