被墙域名黑别人网站,自建博客网站,宁波seo网络推广公司排名,wordpress手机双模板一、什么是 ElastcSearch#xff1f;
ElasticSearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎。
1.1 ElasticSearh 的基本术语概念
index 索引 索引类似与 mysql 中的数据库#xff0c;ES 中的索引是存储数据的地方#xff0c;包含了一堆有相似结构的文档数据…一、什么是 ElastcSearch
ElasticSearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎。
1.1 ElasticSearh 的基本术语概念
index 索引 索引类似与 mysql 中的数据库ES 中的索引是存储数据的地方包含了一堆有相似结构的文档数据。type 类型 类型是用来定义数据结构的可以认为是 mysql 中的一张表type 是 index 中的一个逻辑数据分类。mapping 映射 对字段的定义称为 mapping可以认为是 mysql 中的表结构。document 文档 类似于 mysql 中的一行不同之处在于 ES 中的每个文档可以用不同的字段但是对于通用的字段应该具有相同的数据类型文档是 ES 中的最小数据单元可以认为一个文档就是一条记录。field 字段 field 是 ES 的最小单位一个 document 里面有多个 field 。
mysqlES数据库索引表类型行文档列字段表结构映射
shard 分片 单台机器无法存储大量数据ES 可以将一个索引中的数据切分为多个 shard分布在多台服务器上存储。有了 shard 就可以横向扩展存储更多数据让搜索和分析等操作分布到多台服务器上去执行提升吞吐量和性能。replica 副本 任何一个服务器随时都可能故障或宕机此时 shard 可能会丢失因此可以为每个 shard 创建多个 replica 副本。replica 可以在 shard 故障时提供备用服务保证数据不丢失多个 replica 还可以提升搜索操作的吞吐量和性能。倒排索引 在搜索引擎中每个文档都有一个对应的文档 ID文档内容被表示为一系列关键词的集合。例如某个文档经过分词提取20个关键词每个关键词都会记录它在文档中出现的次数和出现位置。那么倒排索引就是关键词到文档 ID 的映射每个关键词都对应着一系列的文件这些文件都出现了该关键词。有了倒排索引搜索引擎可以很方便地响应用户的查询。text 和 keyword类型的区别 两个的区别主要分词的区别keyword 类型是不会分词的直接根据字符串内容建立倒排索引keyword类型的字段只能通过精确值搜索到Text 类型在存入 Elasticsearch 的时候会先分词然后根据分词后的内容建立倒排索引。DocValues 倒排索引也是有缺陷的假如我们需要对数据做一些聚合操作比如排序/分组时lucene内部会遍历提取所有出现在文档集合的排序字段然后再次构建一个最终的排好序的文档集合list这个步骤的过程全部维持在内存中操作而且如果排序数据量巨大的话非常容易就造成solr内存溢出和性能缓慢。
DocValues 就是 es 在构建倒排索引的同时构建了正排索引保存了docId到各个字段值的映射可以看作是以文档为维度从而实现根据指定字段进行排序和聚合的功能。另外doc Values 保存在操作系统的磁盘中当docValues大于节点的可用内存ES可以从操作系统页缓存中加载或弹出从而避免发生内存溢出的异常docValues远小于节点的可用内存操作系统自然将所有Doc Values存于内存中堆外内存有助于快速访问。
二、ES 写数据流程及原理
2.1 写数据流程 客户端选择一个节点发送请求过去这个节点就是协调节点coordinating node协调节点对 document 进行路由将请求转发给对应的有 primary shard 的节点实际的节点上的 primary shard 处理请求然后将数据同步到 replica node协调节点等到 primary node 和所有 replica node 都执行成功之后就返回响应结果给客户端
2.2 写数据底层实现原理
数据先写入内存缓存Memory Buffer然后定时默认每隔1s将内存缓存中的数据写入一个新的 segment 文件中并写入文件缓存Filesystem Cache同时清空内存缓存这个过程就叫 refresh由于内存缓存和文件系统缓存都是基于内存的如果服务器宕机那么数据就会丢失所以 ES 通过 translog 日志文件来保证数据可靠性在数据写入内存缓存的同时将数据写入 translog 文件中在机器宕机重启时ES 会自动读取 translog 日志文件中的数据恢复到内存缓存和文件系统缓存中去。flush 操作不断重复上面的步骤translog 会变得越来越大当 translog 文件默认每 30 分钟或者阈值超过 512M 时就会触发 commit 操作这个过程称为 flush 操作。
commit 操作
1.将 Buffer 中的数据 refush 到 Filesysytem Cache 中清空 Buffer2.创建一个新的 commit point同时强行将 Filesystem Cache 中目前所有的数据都 fsync 到磁盘文件中3.删除旧的 translog 日志文件并创建一个新的 translog 日志文件此时 commit 操作完成
三、ES 搜索的过程
搜索过程被分为 Query then Fetch 两个阶段执行
Query 阶段 客户端发送请求到协调节点协调节点将搜索请求广播到所有的 primary shard 或 replica shard。每个分片在本地执行搜索并构建一个匹配文档的大小为 fromsize 的优先队列。每个分片返回各自优先队列中所有文档的 ID 和排序值给协调节点由协调节点及执行数据的合并、排序、分页等操作产生最终结果Fetch 阶段 协调节点根据 doc Id 去各个节点上查询实际的 document 数据由协调节点返回结果给客户端。 原理 1、协调节点对 doc Id 进行哈希路由将请求转发到对应的节点此时会使用 round-robin 随机轮询算法在 primary shard 以及所有 replica shard 中随机选择一个让读请求负载均衡 2、接受请求的节点返回 document 给协调节点 3、协调节点返回 document 给客户端
四、Master 节点的选举
4.1 ES 的分布式原理
ES 会对存储的数据进行切分将数据划分到不同的分片上同时每一个分片会保存多个副本主要是为了保证分布式环境的高可用。在 ES 中节点时对等的节点间会选取集群的 Master由 Master 负责集群状态信息的改变并同步给其他节点。
4.2 ES 如何选举 Master
ES 的选主是 ZenDiscovery 模块负责的主要包含 Ping 和 Unicast这两部分
确认候选主节点的最少投票通过数量对所有候选主节点根据 node Id 字典排序每次选举每个节点都把自己所知道节点排一次序然后选出第一个节点暂时认为它是 Master 节点如果对某个节点的投票数达到阈值并且该节点自己也选举自己那这个节点就是 Master。否则重新选举一直到满足上诉条件
4.3 ES 如何避免脑裂现象
当集群中 Master 候选节点数不小于 3 个时可以通过设置最少投票通过数量设置超过所有候选节点一半以上来解决脑裂问题即设置为N / 21当集群 Master 候选节点只有 2 时这种情况是不合理的最好把另外一个 node.master 改成 false
