首页 > TAG信息列表 > IK
elasticsearch分词器安装
elasticsearch分词器安装下载和主版本对应版本的分词器进入ES目录 cd /usr/local/elasticsearch/plugins/ 下载地址: wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.9.2/elasticsearch-analysis-ik-7.9.2.zip 下载后解压: unzip elasties索引添加自定义数字分词器
1、创建索引、分片、副本 PUT /waybill_test { "index": { "number_of_replicas" : 1, "number_of_shards" : 3 } } 2、关闭索引 POST waybill_test/_close 3、添加自定义分词器、在添加自定义分词器之前需要关闭索引 PUT waybill_test/_sejava script 日常学习 正则表达式
<!DOCTYPE html><html><head> <title>函数的运用</title> <meta charset="utf-8"></head><body> <script type="text/javascript">/*//使用字符串的正则表达式方法 //var box = new RegExp('box','igik分词器安装步骤
1.在github中打开ik分词器 2.打开Release界面找到相应的发行版 3.下载相应的发行版(如果下载的是Source code.zip则要进入项目目录,进行编译打包mvn clean => mvn compile => mvn package然后再从编译好的文件下找到elasticsearch-analysis-ik-7.17.5.zip这不是我IK分词器使用自定义词库
IK分词器,支持两种算法。分别为: ik_smart :最少切分 ik_max_word :最细粒度切分 但是我们想要“最好听的歌”为一个完整的词,但是结果并没有,这个时候需要我们去词库添加这个词。 1.在es的插件目录中,我们添加了IK分词器,在分词器目录下,有个config目录, /plugins/ik/config 在congif中ES 中文分词器ik
因为ik目前最高支持es 8.2.3,所以本文基于8.2.3的环境编写. 1、集群环境构建 参考Es 集群搭建及相关配置和相关参数解读,分别下载Es和kibana 8.2.3版本,部署到相应的服务器,删除es原有的data目录.配置elasticsearch.yml,节点配置如下: 节点配置 cluster.name: test_cluster node.03-Elasticsearch之分词器
七、分词器 7.1、分词器介绍 了解分词器的概念 分词器(Analyzer)是将一段文本,按照一定逻辑,拆分成多个词语的一种工具,如下所示 华为手机 ---> 华为、手、手机 ElasticSearch 内置分词器有以下几种 Standard Analyzer 默认分词器,按词/字切分,小写处理 (英文)华 为 手 机 Selasticsearch 介绍、查询及使用(must、should)
创建索引 { "mappings": { "properties": { "id": {"type":"keyword"}, "pname": {"type":"text", "analyzer": "ik_max_word", "search_analkibana + ik + es 安装
1、下载 配置 启动 Kibana cd /usr/local/es # 下载 kibana wget https://artifacts.elastic.co/downloads/kibana/kibana-8.2.0-linux-x86_64.tar.gz #解压 tar -zxvf kibana-8.2.0-linux-x86_64.tar.gz #进入 config 进行配置 cd /kibana-8.2.0/config vim kibana.ymlElasticSearch集成IK分词器
IK分词器简介 IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初,它是以开源项目Lucene为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分Elasticsearch安装ik分词器,并配置扩展词典
1.首先安装好elasticsearch,这里我用的是docker安装 2.去GitHub下载ik分词器,GitHub地址 3.下好了解压 4.使用远程客户端工具(我用的是finalShell)将整个ik文件夹上传到es的plugins目录 5.编辑 plugin-security.policy配置文件,修改里面的端口号和你安装的ES版本号一致 6.进使用Docker快速部署ES单机
1.初始化相关目录 mkdir -p /data/app/elasticsearch/{config,plugins,data} 2.准备配置文件 vim /data/app/elasticsearch/config/elasticsearch.yml # 集群名 cluster.name: docker-cluster # 节点名 node.name: node # 监听ip network.host: 0.0.0.0 # 开启x-pack插件,用于es 添加自定义词库
首先看下自定义词库之前的效果 可以看到分词吧屌丝当成两个单词来处理了实际上并不是我们想要的。 准备工作这里略过,先要有es环境和已经安装ik分词插件 (插件版本要和es版本一致) 查看当前es 版本 ls lib/ | grep -P 'elasticsearch-\d\.\d\.\d\.jar' 然后 docker exec -itdocker安装elasticsearch
1. 创建映射目录 mkdir -p /Users/year12/dockerMsg/elasticsearch/config mkdir -p /Users/year12/dockerMsg/elasticsearch/datamkdir -p /Users/year12/dockerMsg/elasticsearch/pluginsvim elasticsearch.yml 输入: http.host: 0.0.0.0 sudo chmod -R 770 /Users/year12/docJAVA开发示例之IK分词器的初步使用
开发步骤 添加依赖 // IK中文分词相关依赖 implementation 'com.github.magese:ik-analyzer:8.5.0' 可配置需要的扩展词及停止词 <?xml version="1.0" encoding="utf-8" ?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> &ES 同义词设置
需求场景 查询 土豆 要能得到 马铃薯 官网地址 https://www.elastic.co/guide/en/elasticsearch/reference/8.1/indices-reload-analyzers.html 实现案例 本文使用了 ik 分词器,不知道怎么安装 ik 分词器的去这里:https://github.com/medcl/elasticsearch-analysis-ik # 第一步,配服务器-docker-elasticsearch-Kibana-ik分词器 操作指引
->用于大数据搜索,文本相似度计算(BM25) ->参考资料:docker命令-菜鸟教程:https://www.runoob.com/docker/docker-architecture.html 及相关书籍 操作指引——在服务器里安装docker,并在docker中搭建es,kibana并使用ik分词器。 在服务器中安装docker docker -v查看docker版本 获坐标下降法
坐标下降法 本文讲解如何使用坐标下降法求解最小二乘问题。 原理 假设 \(A\in \mathbb{R}^{N\times K}\),\(b\in \mathbb{R}^N\),求 \(x = [x_1, \cdots, x_K]^T\in \mathbb{R}^K\),使得 \[\lVert b - Ax\rVert_2 \]极小化。 坐标下降法的想法是一次只更新一个分量,假设更新第 \(k\)IK分词器(elasticsearch插件)
IK分词器(elasticsearch插件) IK分词器:中文分词器 分词:即把一段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一一个匹配操作,默认的中文分词是将每个字看成一个词(<mark>不使用用IK分词器的情况下</mark点击elasticsearch.bat出现闪退
问题:安装了ik插件之后,点击elasticsearch.bat出现闪退 原因:截图发现是因为ik插件和elasticsearch版本不一致,记录一下,和之前防火墙问题做个区分对比【还不会用ElasticSearch ?】 ElasticSearch 客户端 DSL查询 使用ik分词器 命令 kibana 演示
1.IK分词器测试 GET _analyze { "analyzer": "ik_smart", "text": "我是程序员" } 返回结果 { "tokens" : [ { "token" : "我", "start_offset" : 0, "end_offset"3、elasticsearch 的 mapping
mapping 是用来手动给 index 的字段 分配类型的,默认es会自动分配类型。 当你手动分配字段类型为 keyword 时,该字段不会分词存储,而是直接存储 PUT usertest { "mappings": { "properties": { "age":{ "type": "integer" }, "name"ik分词器支持标点符号,特殊字符分词(分词结果包含特殊字符)
需要修改ik分词插件源码 github官网下载对应那本的ik源码包(徐泽自己需要的版本) 下载好后,解压,用idea打开编辑源码 在工具类(CharacterUtil.java)里,找到方法 identifyCharType,加入以下代码: }else if (ub == Character.UnicodeBlock.GREEK // 希腊符号 // 希腊扩展符号 |windows环境 安装elasticsearch5.5.3的初始设置
windows环境 安装elasticsearch5.5.3的初始设置 elasticsearch和ik分词器安装 elasticsearch下载地址:https://mirrors.huaweicloud.com/elasticsearch/5.5.3/ 下载elasticsearch-5.5.3.tar.gz 安装ik中文分词插件 下载地址 https://github.com/medcl/elasticsearch-analysis-安装ik分词器
打开文档 根据文档下载ik分词器的版本 下载解压到elasticsearch的plugin目录即可 然后调用elasticsearch-plugin list 可以查看已安装插件 发送请求查看ik分词器是否安装成功 POST _analyze { "analyzer": "ik_max_word", "text": "我的名字是天琴心弦" }