其他分享
首页 > 其他分享> > lucene(9)

lucene(9)

作者:互联网

2021SC@SDUSC

TokenStream

Lucene的analysis模块主要负责词法分析及语言处理而形成Term。

Lucene的index模块主要负责索引的创建,里面有IndexWriter。

Lucene的store模块主要负责索引的读写。

Lucene的QueryParser主要负责语法分析。 

Lucene的search模块主要负责对索引的搜索。

Lucene的similarity模块主要负责对相关性打分的实现。

通过对文本的分析来建立TokenStreams(分词数据流)。TokenStream是由一个个Token(分词组成的数据流)。所以说Analyzer就代表着一个从文本数据中抽取索引词(Term)的一种策略。为了定义具体完成哪些分析工作,Analyzer的子类必须实行自己的createCompontents方法。这里也是我们进行中文扩展的主要切入口。

TokenStream即是从Document的域(field)中或者查询条件中抽取一个个分词而组成的一个数据流。TokenSteam中是一个个的分词,而每个分词又是由一个个的属性(Attribute)组成。对于所有的分词来说,每个属性只有一个实例。这些属性都保存在AttributeSource中,而AttributeSource正是TokenStream的父类。

TokenStream的工作流程:

1.实例化TokenStream, 添加属性到AttributeSource,或从AttributeSource中获取属性.

2.调用reset()方法,设置stream的初始状态

3.调用increamStoken()方法,来获取下一个分词。这个方法会被docuemnt中的每一个分词调用。所以一个有效的实现对于好的性能来说是至关重要的。

4.调用end()方法来完成一些收尾工作

5.调用close()方法来释放stream关联的一些资源。

标签:Lucene,调用,lucene,模块,AttributeSource,TokenStream,分词
来源: https://blog.csdn.net/hhhhhigh/article/details/121597505