ps制作网站模板,批量关键词调排名软件,西宁做网站_君博示范,好玩的网页游戏排名目录 1.初识 Elasticsearch1.1.了解 ES1.1.1.Elasticsearch 的作用1.1.2.ELK技术栈1.1.3.Elasticsearch 和 Lucene1.1.4.为什么不是其他搜索技术#xff1f;1.1.5.总结 1.2.倒排索引1.2.1.正向索引1.2.2.倒排索引1.2.3.正向和倒排 1.3.Elasticsearch 的一些概念1.3.1.文档和字… 目录 1.初识 Elasticsearch1.1.了解 ES1.1.1.Elasticsearch 的作用1.1.2.ELK技术栈1.1.3.Elasticsearch 和 Lucene1.1.4.为什么不是其他搜索技术1.1.5.总结 1.2.倒排索引1.2.1.正向索引1.2.2.倒排索引1.2.3.正向和倒排 1.3.Elasticsearch 的一些概念1.3.1.文档和字段1.3.2.索引和映射1.3.3.MySQL 与 Elasticsearch 1.4.安装 Elasticsearch 和 Kibana1.4.1.安装 Elasticsearch1.4.2.安装 Kibana 1.5.安装 IK 分词器1.5.1.在线安装 IK 插件较慢1.5.2.离线安装 IK 插件推荐1.5.3.扩展词词典1.4.4.总结 2.索引库操作2.1.mapping 映射属性2.2.索引库的 CRUD2.2.1.创建索引库和映射2.2.2.查询索引库2.2.3.修改索引库2.2.4.删除索引库2.2.5.总结 3.文档操作3.1.新增文档3.2.查询文档3.3.删除文档3.4.修改文档3.4.1.全量修改3.4.2.增量修改 3.5.总结 4.RestAPI4.1.导入 Demo 工程4.1.1.导入数据4.1.2.导入项目4.1.3.mapping 映射分析4.1.4.初始化 RestClient 4.2.创建索引库4.2.1.代码解读4.2.2.完整示例 4.3.删除索引库4.4.判断索引库是否存在4.5.总结 5.RestClient 操作文档5.1.新增文档5.1.1.索引库实体类5.1.2.语法说明5.1.3.完整代码 5.2.查询文档5.2.1.语法说明5.2.2.完整代码 5.3.删除文档5.4.修改文档5.4.1.语法说明5.4.2.完整代码 5.5.批量导入文档5.5.1.语法说明5.5.2.完整代码 5.6.小结 本文笔记整理自黑马 Elasticsearch 教程相关资料在该视频评论区进行获取。 1.初识 Elasticsearch
1.1.了解 ES
1.1.1.Elasticsearch 的作用
Elasticsearch 是一款非常强大的开源搜索引擎具备非常多强大功能可以帮助我们从海量数据中快速找到需要的内容。例如
在 GitHub 搜索代码 在电商网站搜索商品 在 Google 搜索答案 在打车软件搜索附近的车
1.1.2.ELK技术栈
Elasticsearch 结合 Kibana、Logstash、Beats也就是 elastic stack (ELK)。被广泛应用在日志数据分析、实时监控等领域 而 Elasticsearch 是 elastic stack 的核心负责存储、搜索、分析数据。 1.1.3.Elasticsearch 和 Lucene
1Elasticsearch底层是基于 Lucene 来实现的。Lucene是一个 Java 语言的搜索引擎类库是 Apache 公司的顶级项目由 DougCutting 于 1999 年研发。官网地址https://lucene.apache.org/ 。 2Elasticsearch的发展历史
2004 年 Shay Banon 基于 Lucene 开发了Compass2010 年 Shay Banon 重写了 Compass取名为 Elasticsearch。 官网地址https://www.elastic.co/cn/ 1.1.4.为什么不是其他搜索技术
目前比较知名的搜索引擎技术排名 虽然在早期Apache Solr 是最主要的搜索引擎技术但随着发展 Elasticsearch 已经渐渐超越了 Solr独占鳌头 1.1.5.总结
1什么是 Elasticsearch
一个开源的分布式搜索引擎可以用来实现搜索、日志统计、分析、系统监控等功能
2什么是elastic stack (ELK)
是以 Elasticsearch 为核心的技术栈包括 Beats、Logstash、Kibana、Elasticsearch
3什么是 Lucene
是 Apache 的开源搜索引擎类库提供了搜索引擎的核心 API
1.2.倒排索引
倒排索引的概念是基于 MySQL 这样的正向索引而言的。
1.2.1.正向索引
那么什么是正向索引呢例如给下表 tb_goods 中的 id 创建索引 如果是根据 id 查询那么直接走索引查询速度非常快。
但如果是基于 title 做模糊查询只能是逐行扫描数据流程如下 1用户搜索数据条件是title符合%手机% 2逐行获取数据比如id为1的数据 3判断数据中的 title 是否符合用户搜索条件 4如果符合则放入结果集不符合则丢弃。回到步骤 1
逐行扫描也就是全表扫描随着数据量增加其查询效率也会越来越低。当数据量达到数百万时就是一场灾难。
1.2.2.倒排索引
1倒排索引中有两个非常重要的概念
文档Document用来搜索的数据其中的每一条数据就是一个文档。例如一个网页、一个商品信息。词条Term对文档数据或用户搜索数据利用某种算法分词得到的具备含义的词语就是词条。例如我是中国人就可以分为我、是、中国人、中国、国人这样的几个词条。
2创建倒排索引是对正向索引的一种特殊处理流程如下
将每一个文档的数据利用算法分词得到一个个词条创建表每行数据包括词条、词条所在文档 id、位置等信息因为词条唯一性可以给词条创建索引例如 hash 表结构索引
如图 倒排索引的搜索流程如下以搜索华为手机为例 1用户输入条件华为手机进行搜索。 2对用户输入内容分词得到词条华为、手机。 3拿着词条在倒排索引中查找可以得到包含词条的文档 id1、2、3。 4拿着文档 id 到正向索引中查找具体文档。
如图 虽然要先查询倒排索引再查询倒排索引但是无论是词条、还是文档id都建立了索引查询速度非常快无需全表扫描。
1.2.3.正向和倒排
那么为什么一个叫做正向索引一个叫做倒排索引呢
正向索引是最传统的根据 id 索引的方式。但根据词条查询时必须先逐条获取每个文档然后判断文档中是否包含所需要的词条是根据文档找词条的过程。而倒排索引则相反是先找到用户要搜索的词条根据词条得到保护词条的文档的 id然后根据 id 获取文档。是根据词条找文档的过程。
是不是恰好反过来了那么两者方式的优缺点是什么呢
正向索引
优点 可以给多个字段创建索引根据索引字段搜索、排序速度非常快 缺点 根据非索引字段或者索引字段中的部分词条查找时只能全表扫描
倒排索引
优点 根据词条搜索、模糊搜索时速度非常快 缺点 只能给词条创建索引而不是字段无法根据字段做排序
1.3.Elasticsearch 的一些概念
Elasticsearch 中有很多独有的概念与 MySQL 中略有差别但也有相似之处。
1.3.1.文档和字段
Elasticsearch 是面向**文档 (Document)**存储的可以是数据库中的一条商品数据一个订单信息。文档数据会被序列化为 JSON 格式后存储在 Elasticsearch 中 而 JSON 文档中往往包含很多的字段 (Field)类似于数据库中的列。
1.3.2.索引和映射
索引 (Index)就是相同类型的文档的集合。例如
所有用户文档就可以组织在一起称为用户的索引所有商品的文档可以组织在一起称为商品的索引所有订单的文档可以组织在一起称为订单的索引
因此我们可以把索引当做是数据库中的表。
数据库的表会有约束信息用来定义表的结构、字段的名称、类型等信息。因此索引库中就有映射 (mapping)是索引中文档的字段约束信息类似表的结构约束。
1.3.3.MySQL 与 Elasticsearch
我们统一的把 MySQL 与 Elasticsearch 的概念做一下对比
MySQLElasticsearch说明TableIndex索引 (index)就是文档的集合类似数据库的表 (table)RowDocument文档 (Document)就是一条条的数据类似数据库中的行 (Row)文档都是 JSON 格式ColumnField字段 (Field)就是 JSON 文档中的字段类似数据库中的列 (Column)SchemaMappingMapping映射是索引中文档的约束例如字段类型约束。类似数据库的表结构 (Schema)SQLDSLDSL (Domain Specific Language) 是 Elasticsearch 提供的 JSON 风格的请求语句用来操作 Elasticsearch实现 CRUD
是不是说我们学习了 Elasticsearch 就不再需要 MySQL 了呢并不是如此两者各自有自己的擅长点
MySQL擅长事务类型操作可以确保数据的安全和一致性Elasticsearch擅长海量数据的搜索、分析、计算
因此在企业中往往是两者结合使用
对安全性要求较高的写操作使用 MySQL实现对查询性能要求较高的搜索需求使用 Elasticsearch 实现两者再基于某种方式实现数据的同步保证一致性
1.4.安装 Elasticsearch 和 Kibana
1.4.1.安装 Elasticsearch
1安装Docker。这里在 Docker 中安装 Elasticsearch因此可以先参考https://www.bilibili.com/video/BV1Zn4y1X7AZ?p6这一视频教程来安装 Docker。
2创建网络。因为我们还需要部署 Kibana 容器因此需要让 Elasticsearch 和 Kibana 容器互联。这里先创建一个网络
docker network create es-net3加载镜像这里我们采用 Elasticsearch 的 7.12.1 版本的镜像 将其上传到虚拟机中然后运行命令加载即可同理还有 Kibana 的 tar 包也需要这样做。
docker load -i es.tar4部署单点 Elasticsearch
docker run -d \--name es \-e ES_JAVA_OPTS-Xms512m -Xmx512m \-e discovery.typesingle-node \-v es-data:/usr/share/elasticsearch/data \-v es-plugins:/usr/share/elasticsearch/plugins \--privileged \--network es-net \-p 9200:9200 \-p 9300:9300 \
elasticsearch:7.12.1命令解释
-e cluster.namees-docker-cluster设置集群名称-e http.host0.0.0.0监听的地址可以外网访问-e ES_JAVA_OPTS-Xms512m -Xmx512m内存大小-e discovery.typesingle-node非集群模式-v es-data:/usr/share/elasticsearch/data挂载逻辑卷绑定es的数据目录-v es-logs:/usr/share/elasticsearch/logs挂载逻辑卷绑定es的日志目录-v es-plugins:/usr/share/elasticsearch/plugins挂载逻辑卷绑定es的插件目录--privileged授予逻辑卷访问权--network es-net 加入一个名为es-net的网络中-p 9200:9200端口映射配置
在浏览器中输入http://192.168.101.65:9200即 Linux IP 地址 端口号即可看到 Elasticsearch 的响应结果 在上述过程中本人遇到了一些问题具体参考了 安装Docker时执行yum install -y yum-utils 报错、Docker设置仓库镜像源失败报错File “/usr/bin/yum-config-manager“, line 135 except yum.Errors.RepoError, e:等文章。 1.4.2.安装 Kibana
1Kibana 可以给我们提供一个 Elasticsearch 的可视化界面便于我们学习。
运行 docker 命令部署 Kibana
docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTShttp://es:9200 \
--networkes-net \
-p 5601:5601 \
kibana:7.12.1命令解释
--network es-net加入一个名为 es-net 的网络中与 Elasticsearch 在同一个网络中-e ELASTICSEARCH_HOSTShttp://es:9200设置 Elasticsearch 的地址因为 Kibana 已经与 Elasticsearch 在一个网络因此可以用容器名直接访问 Elasticsearch-p 5601:5601端口映射配置
Kibana 启动一般比较慢需要多等待一会可以通过命令
docker logs -f kibana查看运行日志当查看到下面的日志说明成功 此时在浏览器输入地址访问http://192.168.101.65:5601即可看到结果 2Kibana中提供了一个 DevTools 界面 这个界面中可以编写 DSL 来操作 Elasticsearch。并且对 DSL 语句有自动补全功能。
1.5.安装 IK 分词器
处理中文分词一般会使用 IK 分词器其 Github 地址为 https://github.com/medcl/elasticsearch-analysis-ik。
1.5.1.在线安装 IK 插件较慢
# 进入容器内部
docker exec -it elasticsearch /bin/bash# 在线下载并安装
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip#退出
exit
#重启容器
docker restart elasticsearch1.5.2.离线安装 IK 插件推荐
1查看数据卷目录 安装插件需要知道 Elasticsearch 的 plugins 目录位置而我们用了数据卷挂载因此需要查看 Elasticsearch 的数据卷目录通过下面命令查看
docker volume inspect es-plugins显示结果
[{CreatedAt: 2022-05-06T10:06:3408:00,Driver: local,Labels: null,Mountpoint: /var/lib/docker/volumes/es-plugins/_data,Name: es-plugins,Options: null,Scope: local}
]说明 plugins 目录被挂载到了/var/lib/docker/volumes/es-plugins/_data 这个目录中。
2解压缩分词器安装包 下面我们需要把资料中的 IK 分词器解压缩重命名为 IK 3上传到 Elasticsearch 容器的插件数据卷中 也就是 /var/lib/docker/volumes/es-plugins/_data 4重启容器
# 重启容器
docker restart es
# 查看 Elasticsearch 日志
docker logs -f es(5测试 IK 分词器包含两种模式
ik_smart最少切分ik_max_word最细切分
GET /_analyze
{analyzer: ik_max_word,text: 黑马程序员学习java太棒了
}结果如下
{tokens : [{token : 黑马,start_offset : 0,end_offset : 2,type : CN_WORD,position : 0},{token : 程序员,start_offset : 2,end_offset : 5,type : CN_WORD,position : 1},{token : 程序,start_offset : 2,end_offset : 4,type : CN_WORD,position : 2},{token : 员,start_offset : 4,end_offset : 5,type : CN_CHAR,position : 3},{token : 学习,start_offset : 5,end_offset : 7,type : CN_WORD,position : 4},{token : java,start_offset : 7,end_offset : 11,type : ENGLISH,position : 5},{token : 太棒了,start_offset : 11,end_offset : 14,type : CN_WORD,position : 6},{token : 太棒,start_offset : 11,end_offset : 13,type : CN_WORD,position : 7},{token : 了,start_offset : 13,end_offset : 14,type : CN_CHAR,position : 8}]
}1.5.3.扩展词词典
随着互联网的发展“造词运动”也越发的频繁。出现了很多新的词语在原有的词汇列表中并不存在。比如“奥力给”“传智播客” 等。所以我们的词汇也需要不断的更新IK 分词器提供了扩展词汇的功能。
1打开 IK 分词器 config 目录 2在 IKAnalyzer.cfg.xml 配置文件内容添加
?xml version1.0 encodingUTF-8?
!DOCTYPE properties SYSTEM http://java.sun.com/dtd/properties.dtd
propertiescommentIK Analyzer 扩展配置/comment!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典--entry keyext_dictext.dic/entry
/properties3新建一个 ext.dic放在 IKAnalyzer.cfg.xml 配置文件所在目录可以参考 config 目录下复制一个配置文件进行修改
传智播客
奥力给4重启 Elasticsearch
docker restart es
docker logs -f elasticsearch日志中已经成功加载 ext.dic 配置文件。
5测试效果
GET /_analyze
{analyzer: ik_max_word,text: 传智播客Java就业超过90%,奥力给
}结果如下
{tokens : [{token : 传智播客,start_offset : 0,end_offset : 4,type : CN_WORD,position : 0},{token : java,start_offset : 4,end_offset : 8,type : ENGLISH,position : 1},{token : 就业,start_offset : 8,end_offset : 10,type : CN_WORD,position : 2},{token : 超过,start_offset : 10,end_offset : 12,type : CN_WORD,position : 3},{token : 90,start_offset : 12,end_offset : 14,type : ARABIC,position : 4},{token : 奥力给,start_offset : 16,end_offset : 19,type : CN_WORD,position : 5}]
}注意当前文件的编码必须是 UTF-8 格式严禁使用 Windows 记事本编辑 1.4.4.总结
1分词器的作用是什么
创建倒排索引时对文档分词用户搜索时对输入的内容分词
1IK 分词器有几种模式
ik_smart智能切分粗粒度ik_max_word最细切分细粒度
1IK 分词器如何拓展词条如何停用词条
利用 config 目录的 IkAnalyzer.cfg.xml 文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条
2.索引库操作
索引库就类似数据库表mapping 映射就类似表的结构。我们要向 Elasticsearch 中存储数据必须先创建“库”和“表”。
2.1.mapping 映射属性
1mapping 是对索引库中文档的约束常见的 mapping 属性包括
type字段数据类型常见的简单类型有 字符串text可分词的文本、keyword精确值例如品牌、国家、IP 地址数值long、integer、short、byte、double、float、布尔boolean日期date对象object index是否创建索引默认为 trueanalyzer使用哪种分词器properties该字段的子字段
2例如下面的 json文档
{age: 21,weight: 52.1,isMarried: false,info: 黑马程序员Java讲师,email: zyitcast.cn,score: [99.1, 99.5, 98.9],name: {firstName: 云,lastName: 赵}
}对应的每个字段映射 (mapping)
age类型为 integer参与搜索因此需要 index 为 true无需分词器weight类型为 float参与搜索因此需要 index 为 true无需分词器isMarried类型为 boolean参与搜索因此需要 index 为 true无需分词器info类型为字符串需要分词因此是 text参与搜索因此需要 index 为true分词器可以用 ik_smartemail类型为字符串但是不需要分词因此是 keyword不参与搜索因此需要 index 为 false无需分词器score虽然是数组但是我们只看元素的类型类型为 float参与搜索因此需要 index 为 true无需分词器name类型为 object需要定义多个子属性 name.firstName类型为字符串但是不需要分词因此是 keyword参与搜索因此需要 index 为true无需分词器name.lastName类型为字符串但是不需要分词因此是 keyword参与搜索因此需要 index 为true无需分词器
2.2.索引库的 CRUD
这里我们统一使用 Kibana 编写 DSL 的方式来演示。
2.2.1.创建索引库和映射
1基本语法
请求方式PUT请求路径/索引库名可以自定义请求参数mapping 映射
格式
PUT /索引库名称
{mappings: {properties: {字段名:{type: text,analyzer: ik_smart},字段名2:{type: keyword,index: false},字段名3:{properties: {子字段: {type: keyword}}},// ...略}}
}2示例
PUT /heima
{mappings: {properties: {info:{type: text,analyzer: ik_smart},email:{type: keyword,index: false},name:{properties: {firstName: {type: keyword},lastName: {type: keyword}}}}}
}结果如下
{acknowledged : true,shards_acknowledged : true,index : heima
}2.2.2.查询索引库
1基本语法
请求方式GET请求路径/索引库名请求参数无
2格式
GET /索引库名示例 2.2.3.修改索引库
1倒排索引结构虽然不复杂但是一旦数据结构改变比如改变了分词器就需要重新创建倒排索引这简直是灾难。因此索引库一旦创建无法修改 mapping。虽然无法修改 mapping 中已有的字段但是却允许添加新的字段到 mapping 中因为不会对倒排索引产生影响。
2语法说明
PUT /索引库名/_mapping
{properties: {新字段名:{type: integer}}
}3示例 2.2.4.删除索引库
语法
请求方式DELETE请求路径/索引库名请求参数无
格式
DELETE /索引库名在 Kibana 中测试 2.2.5.总结
索引库操作有哪些
创建索引库PUT /索引库名查询索引库GET /索引库名删除索引库DELETE /索引库名添加字段PUT /索引库名/_mapping
3.文档操作
3.1.新增文档
语法
POST /索引库名/_doc/文档id
{字段1: 值1,字段2: 值2,字段3: {子属性1: 值3,子属性2: 值4},// ...
}示例
POST /heima/_doc/1
{info: 黑马程序员Java讲师,email: zyitcast.cn,name: {firstName: 云,lastName: 赵}
}响应 3.2.查询文档
根据 restful 风格新增是 post查询应该是 get不过查询一般都需要条件这里我们把文档 id 带上。
语法
GET /{索引库名称}/_doc/{id}通过 Kibana 查看数据
GET /heima/_doc/1查看结果 3.3.删除文档
删除使用 DELETE 请求同样需要根据 id 进行删除
语法
DELETE /{索引库名}/_doc/id值示例
# 根据 id 删除数据
DELETE /heima/_doc/1结果 3.4.修改文档
修改有两种方式
全量修改直接覆盖原来的文档增量修改修改文档中的部分字段
3.4.1.全量修改
全量修改是覆盖原来的文档其本质是
根据指定的 id 删除文档新增一个相同 id 的文档
注意如果根据 id 删除时id 不存在第二步的新增也会执行也就从修改变成了新增操作了。
语法
PUT /{索引库名}/_doc/文档id
{字段1: 值1,字段2: 值2,// ... 略
}示例
PUT /heima/_doc/1
{info: 黑马程序员高级Java讲师,email: zyitcast.cn,name: {firstName: 云,lastName: 赵}
}3.4.2.增量修改
增量修改是只修改指定 id 匹配的文档中的部分字段。
语法
POST /{索引库名}/_update/文档id
{doc: {字段名: 新的值,}
}示例
POST /heima/_update/1
{doc: {email: ZhaoYunitcast.cn}
}3.5.总结
文档操作有哪些
创建文档POST /{索引库名}/_doc/文档 id {json文档 }查询文档GET /{索引库名}/_doc/文档 id删除文档DELETE /{索引库名}/_doc/文档 id修改文档 全量修改PUT /{索引库名}/_doc/文档 id {json文档 }增量修改POST /{索引库名}/_update/文档 id {“doc”: {字段}}
4.RestAPI
Elasticsearch 官方提供了各种不同语言的客户端用来操作 Elasticsearch。这些客户端的本质就是组装 DSL 语句通过 http 请求发送给 Elasticsearch。官方文档地址https://www.elastic.co/docs。其中的 Java Rest Client 又包括两种
Java Low Level Rest ClientJava High Level Rest Client 本文主要介绍的是 Java HighLevel Rest Client 客户端 API。
4.1.导入 Demo 工程
4.1.1.导入数据
首先导入课前资料提供的数据库数据数据结构如下
CREATE TABLE tb_hotel (id bigint(20) NOT NULL COMMENT 酒店id,name varchar(255) NOT NULL COMMENT 酒店名称例7天酒店,address varchar(255) NOT NULL COMMENT 酒店地址例航头路,price int(10) NOT NULL COMMENT 酒店价格例329,score int(2) NOT NULL COMMENT 酒店评分例45就是4.5分,brand varchar(32) NOT NULL COMMENT 酒店品牌例如家,city varchar(32) NOT NULL COMMENT 所在城市例上海,star_name varchar(16) DEFAULT NULL COMMENT 酒店星级从低到高分别是1星到5星1钻到5钻,business varchar(255) DEFAULT NULL COMMENT 商圈例虹桥,latitude varchar(32) NOT NULL COMMENT 纬度例31.2497,longitude varchar(32) NOT NULL COMMENT 经度例120.3925,pic varchar(255) DEFAULT NULL COMMENT 酒店图片例:/img/1.jpg,PRIMARY KEY (id)
) ENGINEInnoDB DEFAULT CHARSETutf8mb4;4.1.2.导入项目
然后导入课前资料提供的项目 hotel-demo项目结构如图 4.1.3.mapping 映射分析
创建索引库最关键的是 mapping 映射而 mapping 映射要考虑的信息包括
字段名字段数据类型是否参与搜索是否需要分词如果分词分词器是什么
其中
字段名、字段数据类型可以参考数据表结构的名称和类型是否参与搜索要分析业务来判断例如图片地址就无需参与搜索是否分词呢要看内容内容如果是一个整体就无需分词反之则要分词分词器我们可以统一使用 ik_max_word
来看下酒店数据的索引库结构
PUT /hotel
{mappings: {properties: {id: {type: keyword // Elasticsearch 中的 id 默认是字符串类型},name:{type: text,analyzer: ik_max_word,copy_to: all},address:{type: keyword,index: false},price:{type: integer},score:{type: integer},brand:{type: keyword,copy_to: all},city:{type: keyword,copy_to: all},starName:{type: keyword},business:{type: keyword},location:{type: geo_point},pic:{type: keyword,index: false},all:{type: text,analyzer: ik_max_word}}}
}几个特殊字段说明
location地理坐标里面包含精度、纬度all一个组合字段其目的是将多字段的值利用 copy_to 合并提供给用户搜索
地理坐标说明 copy_to 说明 4.1.4.初始化 RestClient
在 Elasticsearch 提供的 API 中与 Elasticsearch 一切交互都封装在一个名为 RestHighLevelClient 的类中必须先完成这个对象的初始化建立与 Elasticsearch 的连接。分为三步 1引入 Elasticsearch 的 RestHighLevelClient 依赖
dependencygroupIdorg.elasticsearch.client/groupIdartifactIdelasticsearch-rest-high-level-client/artifactIdversion7.12.1/version
/dependency2因为 SpringBoot 默认的 Elasticsearch 版本是 7.6.2所以我们需要覆盖默认的 Elasticsearch 版本
propertieselasticsearch.version7.12.1/elasticsearch.version
/properties3初始化RestHighLevelClient初始化的代码如下
RestHighLevelClient client new RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.150.101:9200)
));这里为了单元测试方便我们创建一个测试类 HotelIndexTest然后将初始化的代码编写在 BeforeEach 注解修饰的方法中
package cn.itcast.hotel;import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.RestClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;import java.io.IOException;Slf4j
public class HotelIndexTest {private RestHighLevelClient client;Testvoid testInit() {log.info(client: {}, client);}BeforeEachvoid setUp() {this.client new RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.101.65:9200)));}AfterEachvoid tearDown() throws IOException {this.client.close();}
}运行结果如下
09-22 10:52:27.626 [main] INFO cn.itcast.hotel.HotelIndexTest - client: org.elasticsearch.client.RestHighLevelClient3fb6cf604.2.创建索引库
4.2.1.代码解读
创建索引库的 API 如下 代码分为三步
1创建 Request 对象。因为是创建索引库的操作因此 Request 是 CreateIndexRequest。2添加请求参数其实就是 DSL 的 JSON 参数部分。因为 json 字符串很长这里是定义了静态字符串常量 MAPPING_TEMPLATE让代码看起来更加优雅。3发送请求client.indices() 方法的返回值是 IndicesClient 类型封装了所有与索引库操作有关的方法。
4.2.2.完整示例
在 hotel-demo 的 cn.itcast.hotel.constants 包下创建一个类定义 mapping 映射的 JSON 字符串常量
package cn.itcast.hotel.constants;public class HotelConstants {public static final String MAPPING_TEMPLATE {\n \mappings\: {\n \properties\: {\n \id\: {\n \type\: \keyword\\n },\n \name\:{\n \type\: \text\,\n \analyzer\: \ik_max_word\,\n \copy_to\: \all\\n },\n \address\:{\n \type\: \keyword\,\n \index\: false\n },\n \price\:{\n \type\: \integer\\n },\n \score\:{\n \type\: \integer\\n },\n \brand\:{\n \type\: \keyword\,\n \copy_to\: \all\\n },\n \city\:{\n \type\: \keyword\,\n \copy_to\: \all\\n },\n \starName\:{\n \type\: \keyword\\n },\n \business\:{\n \type\: \keyword\\n },\n \location\:{\n \type\: \geo_point\\n },\n \pic\:{\n \type\: \keyword\,\n \index\: false\n },\n \all\:{\n \type\: \text\,\n \analyzer\: \ik_max_word\\n }\n }\n }\n };
}在 hotel-demo 中的 HotelIndexTest 测试类中编写单元测试实现创建索引
Test
void createHotelIndex() throws IOException {// 1.创建Request对象CreateIndexRequest request new CreateIndexRequest(hotel);// 2.准备请求的参数DSL语句request.source(MAPPING_TEMPLATE, XContentType.JSON);// 3.发送请求client.indices().create(request, RequestOptions.DEFAULT);
}4.3.删除索引库
删除索引库的 DSL 语句非常简单
DELETE /hotel与创建索引库相比
请求方式从 PUT 变为 DELTE请求路径不变无请求参数
所以代码的差异注意体现在 Request 对象上。依然是三步走
1创建 Request 对象。这次是 DeleteIndexRequest 对象2准备参数这里是无参3发送请求改用 delete 方法
在 hotel-demo 中的 HotelIndexTest 测试类中编写单元测试实现删除索引
Test
void testDeleteHotelIndex() throws IOException {// 1.创建Request对象DeleteIndexRequest request new DeleteIndexRequest(hotel);// 2.发送请求client.indices().delete(request, RequestOptions.DEFAULT);
}有关 Junit 单元测试的知识可以查看 Java 基础——Junit 单元测试这篇文章。 4.4.判断索引库是否存在
判断索引库是否存在本质就是查询对应的 DSL 是
GET /hotel因此与删除的 Java 代码流程是类似的。依然是三步走
1创建 Request 对象。这次是 GetIndexRequest 对象2准备参数这里是无参3发送请求改用 exists 方法
Test
void testExistsHotelIndex() throws IOException {// 1.创建Request对象GetIndexRequest request new GetIndexRequest(hotel);// 2.发送请求boolean exists client.indices().exists(request, RequestOptions.DEFAULT);// 3.输出System.err.println(exists ? 索引库已经存在 : 索引库不存在);
}4.5.总结
JavaRestClient 操作 Elasticsearch 的流程基本类似。核心是 client.indices() 方法来获取索引库的操作对象。索引库操作的基本步骤
初始化 RestHighLevelClient创建 XxxIndexRequest。XXX 是 Create、Get、Delete准备 DSLCreate 时需要其它是无参发送请求调用 RestHighLevelClient#indices().xxx() 方法xxx是create、exists、delete
5.RestClient 操作文档
为了与索引库操作分离我们再次参加一个测试类做两件事情
初始化 RestHighLevelClient我们的酒店数据在数据库需要利用 IHotelService 去查询所以注入这个接口
package cn.itcast.hotel;import cn.itcast.hotel.pojo.Hotel;
import cn.itcast.hotel.service.IHotelService;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.io.IOException;
import java.util.List;SpringBootTest
public class HotelDocumentTest {Autowiredprivate IHotelService hotelService;private RestHighLevelClient client;BeforeEachvoid setUp() {this.client new RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.150.101:9200)));}AfterEachvoid tearDown() throws IOException {this.client.close();}
}5.1.新增文档
我们要将数据库的酒店数据查询出来写入 Elasticsearch 中。
5.1.1.索引库实体类
数据库查询后的结果是一个 Hotel 类型的对象。结构如下
Data
TableName(tb_hotel)
public class Hotel {TableId(type IdType.INPUT)private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String longitude;private String latitude;private String pic;
}与我们的索引库结构存在差异longitude 和 latitude 需要合并为 location。因此我们需要定义一个新的类型与索引库结构吻合
package cn.itcast.hotel.pojo;import lombok.Data;
import lombok.NoArgsConstructor;Data
NoArgsConstructor
public class HotelDoc {private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String location;private String pic;public HotelDoc(Hotel hotel) {this.id hotel.getId();this.name hotel.getName();this.address hotel.getAddress();this.price hotel.getPrice();this.score hotel.getScore();this.brand hotel.getBrand();this.city hotel.getCity();this.starName hotel.getStarName();this.business hotel.getBusiness();this.location hotel.getLatitude() , hotel.getLongitude();this.pic hotel.getPic();}
}5.1.2.语法说明
新增文档的 DSL 语句如下
POST /{索引库名}/_doc/1
{name: Jack,age: 21
}对应的 Java 代码如图 可以看到与创建索引库类似同样是三步走
1创建 Request 对象2准备请求参数也就是 DSL 中的 JSON 文档3发送请求
变化的地方在于这里直接使用 client.xxx() 的 API不再需要 client.indices() 了。
5.1.3.完整代码
我们导入酒店数据基本流程一致但是需要考虑几点变化
酒店数据来自于数据库我们需要先查询出来得到 hotel 对象hotel 对象需要转为 HotelDoc 对象HotelDoc 需要序列化为 json 格式
因此代码整体步骤如下
1根据 id 查询酒店数据 Hotel2将 Hotel 封装为 HotelDoc3将 HotelDoc 序列化为 JSON4创建 IndexRequest指定索引库名和 id5准备请求参数也就是 JSON 文档6发送请求
在 hotel-demo 的 HotelDocumentTest 测试类中编写单元测试
Test
void testAddDocument() throws IOException {// 1.根据 id 查询酒店数据Hotel hotel hotelService.getById(61083L);// 2.转换为文档类型HotelDoc hotelDoc new HotelDoc(hotel);// 3.将 HotelDoc 转 jsonString json JSON.toJSONString(hotelDoc);// 4.准备 Request 对象注意索引库中的 id 为 String 类型IndexRequest request new IndexRequest(hotel).id(hotelDoc.getId().toString());// 5.准备 Json 文档request.source(json, XContentType.JSON);// 6.发送请求client.index(request, RequestOptions.DEFAULT);
}验证结果如下 5.2.查询文档
5.2.1.语法说明
查询的 DSL 语句如下
GET /hotel/_doc/{id}非常简单因此代码大概分两步
准备 Request 对象发送请求
不过查询的目的是得到结果解析为 HotelDoc因此难点是结果的解析。完整代码如下 可以看到结果是一个 JSON其中文档放在一个 _source 属性中因此解析就是拿到 _source反序列化为 Java 对象即可。与之前类似也是三步走
1准备 Request 对象。这次是查询所以是 GetRequest2发送请求得到结果。因为是查询这里调用 client.get() 方法3解析结果就是对 JSON 做反序列化
5.2.2.完整代码
在 hotel-demo 的 HotelDocumentTest 测试类中编写单元测试
Test
void testGetDocumentById() throws IOException {// 1.准备RequestGetRequest request new GetRequest(hotel, 61083);// 2.发送请求得到响应GetResponse response client.get(request, RequestOptions.DEFAULT);// 3.解析响应结果String json response.getSourceAsString();HotelDoc hotelDoc JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);
}输出结果如下
HotelDoc(id61083, name上海滴水湖皇冠假日酒店, address自由贸易试验区临港新片区南岛1号, price971, score44, brand皇冠假日, city上海, starName五钻, business滴水湖临港地区, location30.890867, 121.937241, pichttps://m.tuniucdn.com/fb3/s1/2n9c/312e971Rnj9qFyR3pPv4bTtpj1hX_w200_h200_c1_t0.jpg)5.3.删除文档
删除的 DSL 为是这样的
DELETE /hotel/_doc/{id}与查询相比仅仅是请求方式从 DELETE 变成 GET可以想象 Java 代码应该依然是三步走
1准备 Request 对象因为是删除这次是 DeleteRequest 对象。要指定索引库名和 id2准备参数无参3发送请求。因为是删除所以是 client.delete() 方法
在 hotel-demo 的 HotelDocumentTest 测试类中编写单元测试
Test
void testDeleteDocument() throws IOException {// 1.准备RequestDeleteRequest request new DeleteRequest(hotel, 61083);// 2.发送请求client.delete(request, RequestOptions.DEFAULT);
}5.4.修改文档
5.4.1.语法说明
修改我们讲过两种方式
全量修改本质是先根据 ID 删除再新增增量修改修改文档中的指定字段值
在 RestClient 的 API 中全量修改与新增的 API 完全一致判断依据是 ID
如果新增时ID 已经存在则修改如果新增时ID 不存在则新增
这里不再赘述我们主要关注增量修改。代码示例如图 与之前类似也是三步走
1准备 Request 对象这次是修改所以是UpdateRequest2准备参数也就是 JSON 文档里面包含要修改的字段3更新文档这里调用 client.update() 方法
5.4.2.完整代码
在 hotel-demo 的 HotelDocumentTest 测试类中编写单元测试
Testvoid testUpdateDocument() throws IOException {// 1.准备RequestUpdateRequest request new UpdateRequest(hotel, 61083);// 2.准备请求参数即要更新的字段request.doc(price, 952,starName, 四钻);// 3.发送请求client.update(request, RequestOptions.DEFAULT);}需要注意的是由于此处并未考虑数据库的同步因此此时数据库中的对应的数据并未发生变化。
5.5.批量导入文档
案例需求利用 BulkRequest 批量将数据库数据导入到索引库中。步骤如下
利用 MyBatis-Plus 查询酒店数据将查询到的酒店数据 (Hotel) 转换为文档类型数据 (HotelDoc)利用 JavaRestClient 中的 BulkRequest 批处理实现批量新增文档
5.5.1.语法说明
批量处理 BulkRequest其本质就是将多个普通的 CRUD 请求组合在一起发送。其中提供了一个 add 方法用来添加其他请求 可以看到能添加的请求包括
IndexRequest也就是新增UpdateRequest也就是修改DeleteRequest也就是删除
因此 Bulk 中添加了多个 IndexRequest就是批量新增功能了。示例 其实还是三步走
1创建Request对象。这里是 BulkRequest2准备参数。批处理的参数就是其它 Request 对象这里就是多个 IndexRequest3发起请求。这里是批处理调用的方法为 client.bulk() 方法
我们在导入酒店数据时将上述代码改造成 for 循环处理即可。
5.5.2.完整代码
在 hotel-demo 的 HotelDocumentTest 测试类中编写单元测试
Test
void testBulkRequest() throws IOException {// 批量查询酒店数据ListHotel hotels hotelService.list();// 1.创建RequestBulkRequest request new BulkRequest();// 2.准备参数添加多个新增的Requestfor (Hotel hotel : hotels) {// 2.1.转换为文档类型HotelDocHotelDoc hotelDoc new HotelDoc(hotel);// 2.2.创建新增文档的Request对象request.add(new IndexRequest(hotel).id(hotelDoc.getId().toString()).source(JSON.toJSONString(hotelDoc), XContentType.JSON));}// 3.发送请求client.bulk(request, RequestOptions.DEFAULT);
}使用 GET /hotel/_search 命令在 Kibana 中查询索引库 hotel 中所有的文档 5.6.小结
文档操作的基本步骤
初始化 RestHighLevelClient创建 XxxRequest。XXX 是 Index、Get、Update、Delete、Bulk准备参数Index、Update、Bulk 时需要发送请求。调用 RestHighLevelClient#.xxx() 方法xxx 是 index、get、update、delete、bulk解析结果Get 时需要
