其他分享
首页 > 其他分享> > Lucene应用实战(二)——Field域的使用及索引库的维护

Lucene应用实战(二)——Field域的使用及索引库的维护

作者:互联网

Field域的使用及索引库的维护

前言

在前面我们对Lucene的使用进行了简单的demo实战,本文我们详细来说明下Lucene中的Field域的使用及索引库维护的相关操作。

Fileld域的使用

简介

Lucene存储对象是以Document为存储单元,对象中相关的属性值则存放到Field中。

Field是文档中的域,包括Field名和Field值两部分,一个文档可以包括多个Field,Document只是Field
的一个承载体,Field值即为要索引的内容,也是要搜索的内容。

Field有三大属性:

  1. 是否分词(tokenized)

比如:商品名称、商品简介等,这些内容用户要输入关键字搜索,由于搜索的内容格式不固定、内容多需要
分词后将语汇单元索引。

​ 比如:订单号、身份证号等

  1. 是否索引(indexed)
  1. 是否存储(stored)

常用类型

Field对应的类是org.apache.lucene.document.Field,该类实现了org.apache.lucene.index.IndexableField接口,代表用于indexing的一个字段。Field类比较
底层一些,所以Lucene实现了许多Field子类,用于不同的场景。

Field的常用类型及用法如下表格所示:

Field类型 数据类型 是否分词 是否索引 是否存储 说明
StringField(FieldName, FieldValue, Store.YES) 字符串 N Y Y/N 字符串类型Field, 不分词, 作为一个整体进行索引(如: 身份证 号, 订单编号), 是否需要存储由Store.YES或Store.NO决定
TextField(FieldName, FieldValue, Store.NO) 文本类型 Y Y Y/N 文本类型Field, 分词并且索引, 是否需要存储由Store.YES或 Store.NO决定
LongField(FieldName, FieldValue, Store.YES) 或 LongPoint(String name, int… point)等 数值代表型 Y Y Y/N 在Lucene 6.0中,LongField替换为LongPoint,IntField替换 为IntPoint,FloatField替换为FloatPoint,DoubleField替换 为DoublePoint。对数值型字段索引,索引不存储。要存储结 合StoredField即可。
StoredField(FieldName, FieldValue) 支持多种类型 N N Y 构建不同类型的Field, 不分词, 不索引, 要存储. (如: 商品图片路 径)

Field应用代码

 @Test
    public void createIndex() throws Exception {
        // 1.采集数据
        Book  booka  = new Book();
        List<Book> bookList = new ArrayList<Book>();
        booka.setId(1);
        booka.setDesc("Lucene Core is a Java library providing powerful indexing and search features, as well as spellchecking, hit highlighting and advanced analysis/tokenization capabilities. The PyLucene sub project provides Python bindings for Lucene Core. ");
        booka.setName("Lucene");
        booka.setPrice(100.45f);
        bookList.add(booka);

        Book  bookb  = new Book();
        bookb.setId(11);
        bookb.setDesc("Solr is highly scalable, providing fully fault tolerant distributed indexing, search and analytics. It exposes Lucene's features through easy to use JSON/HTTP interfaces or native clients for Java and other languages. ");
        bookb.setName("Solr");
        bookb.setPrice(320.45f);
        bookList.add(bookb);
        Book  bookc  = new Book();
        bookc.setId(21);
        bookc.setDesc("The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models.");
        bookc.setName("Hadoop");
        bookc.setPrice(620.45f);
        bookList.add(bookc);

        // 2.将采集到的数据封装到Document对象中
        List<Document> docList = new ArrayList<>();
        Document document;
        for (Book book : bookList) {
            document = new Document();
            // IntPoint  分词 索引 不存储 存储结合  StoredField
            Field id = new IntPoint("id", book.getId());
            System.out.println(id.fieldType().tokenized() + ":" + id.fieldType().stored());
            Field id_v  = new StoredField("id", book.getId());
            // 分词、索引、存储 TextField
            Field name = new TextField("name", book.getName(), Field.Store.YES);
            // 分词、索引、不存储 但是是数字类型,所以使用FloatPoint
            Field price = new FloatPoint("price", book.getPrice());
            // 分词、索引、不存储 TextField
            Field desc = new TextField("desc",
                    book.getDesc(), Field.Store.YES);

            // 将field域设置到Document对象中

            document.add(id);
            document.add(id_v);
            document.add(name);
            document.add(price);
            document.add(desc);

            docList.add(document);
        }
        //3.创建Analyzer 分词器 对文档进行分词
        Analyzer  analyzer  = new StandardAnalyzer();
        // 创建Directory   和 IndexWriterConfig 对象
        Directory  directory = FSDirectory.open(Paths.get("D:/lucene/index"));

        IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);

        // 4.创建IndexWriter 写入对象
        IndexWriter  indexWriter = new IndexWriter(directory,indexWriterConfig);

        // 添加文档对象
        for (Document doc : docList) {
            indexWriter.addDocument(doc);
        }
        // 释放资源
        indexWriter.close();
    }

索引库的维护

索引添加

索引添加是新增索引库中不存在的索引记录,代码如下:

@Test
    public  void  indexCreate()throws  Exception{
        // 创建分词器
        Analyzer analyzer = new StandardAnalyzer();
        // 创建Directory 流对象
        Directory directory = FSDirectory.open(Paths.get("D:/lucene/index3"));
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        // 创建索引写入对象
        IndexWriter  indexWriter = new IndexWriter(directory,config);
        // 创建Document
        Document  document = new Document();
        document.add(new TextField("id","1001", Field.Store.YES));
        document.add(new TextField("name","game", Field.Store.YES));
        document.add(new TextField("desc","one world one dream", Field.Store.YES));
        // 添加文档 创建索引
        indexWriter.addDocument(document);
        indexWriter.close();
    }

索引更新

更新索引是先删除再添加,建议对更新需求采用此方法并且要保证对已存在的索引执行更新,可以先查
询出来,确定更新记录存在执行更新操作。
如果更新索引的目标文档对象不存在,则执行添加

代码如下:

 @Test
    public  void  indexUpdate()throws  Exception{
        // 创建分词器
        Analyzer analyzer = new StandardAnalyzer();
        // 创建Directory 流对象
        Directory directory = FSDirectory.open(Paths.get("D:/lucene/index3"));
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        // 创建索引写入对象
        IndexWriter  indexWriter = new IndexWriter(directory,config);
        // 创建Document
        Document  document = new Document();

        document.add(new TextField("id","1001", Field.Store.YES));
        document.add(new TextField("name","好好学习", Field.Store.YES));
        document.add(new TextField("desc","游戏结束该干啥干啥去", Field.Store.YES));
        // 更新
        indexWriter.updateDocument(new Term("name","game"),document);
        indexWriter.close();

    }

索引删除

根据Term项删除索引,满足条件的将全部删除。

示例:indexWriter.deleteDocuments(new Term("name", "game"));

全部删除

清空索引库中的所有索引:

indexWriter.deleteAll();

源码

lucene索引实战demo

总结

本文我们主要学习了Lucene中Field域的使用,常用的几种Field类型,及索引库的增删改操作。

更多

更多我亲身经历的面试真题、学习资料,还有想要内推大厂的小伙伴可以联系我,请关注微信公众号:【程序员资料站】,回复关键字 “面试”或者“资料” 获取更多学习资料,回复“内推”,我帮你内推大厂。

标签:Document,索引,Lucene,Field,new,document,分词
来源: https://blog.csdn.net/yongbutingxide/article/details/122666061