甘肃省建设部网站首页,中国电信企业邮箱登录入口,品牌的网站建设一般多少钱,昆山开发区人才网官网1.ES是什么#xff1f; 是一个开源的高扩展的分布式全文检索引擎#xff0c;它可以近乎实时的存储、检索数据#xff1b;本身扩展性很好#xff0c;可以扩展到上百台服务器#xff0c;处理PB级别的数据使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能…
1.ES是什么 是一个开源的高扩展的分布式全文检索引擎它可以近乎实时的存储、检索数据本身扩展性很好可以扩展到上百台服务器处理PB级别的数据使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性从而让全文搜索变得简单一个分布式、可扩展、近实时的搜索与数据分析引擎我们看到ES定义中有2个词来展开理解一下。 全文检索 上面的列举了平时用的2种类型的数据库对于关系型数据都有一定的结构比如我们可以通过建立索引来查询那么对于非关系型数据库我们经常使用的搜索方式主要有两种顺序扫描和全文检索。 而全文检索就是相当于把非结构化的数据类比结构化的数据检索方式把部分数据提取出来提炼成有结构的数据进行结构化的搜索提高搜索效率这就是全文检索的基本思路。 Lucene Lucene是apache软件基金会 jakarta项目组的一个子项目是一个开放源代码的全文检索引擎工具包但它不是一个完整的全文检索引擎而是一个全文检索引擎的架构。 Lucene的目的是为软件开发人员提供一个简单易用的工具包以方便的在目标系统中实现全文检索的功能或者是以此为基础建立起完整的全文检索引擎。 但是Lucene只是一个工具包不是一个完整的全文搜索引擎。所以引出了我们今天的主题—— ES
是在Lucene基础上的开源可用的全文搜索引擎。通过对 Lucene 的封装隐藏了 Lucene 的复杂性取而代之的提供一套简单一致的 RESTful API。 2.基本概念 学习一项新技术最好的方式就是和原有的知识相结合形成知识网络也更容易理解。
下面以MySQL和ES的对比来介绍ES中的一些基本概念。 ES Mysql 索引index 数据库db 类型type 表table 文档doc 每一条记录row 字段field 字段 column 映射mapping schema Query DSL sql 不过在 6.x 版本后就废弃了 Type 因为设计者发现 ElasticSearch 这种与关系型数据类比的设计方式有缺陷。建议的是每个类型业务的数据单独放在一个索引中。 下面是ES介绍中分布式、可扩展、近实时的搜索与数据分析引擎的概念支撑 集群ClusterES可以作为一个单个独立的搜索服务器为了处理大型数据实现容错和高可用ES运行在多个互相合作的服务器上。这些服务器的集合称为集群。
节点Node形成集群的每个服务器。
分片Shard每个索引默认被分成5片存储每个分片都存在至少一个备份分片。当我们查询的索引分布在多个分片上时ES会把查询发送给每个相关的分片并将结果组合在一起而应用程序并不知道分片的存在。
副本replia为提高查询吞吐量或实现高可用性可以使用分片副本。注意只有一个主分片可以支持修改。其他副本只支持查询。
倒排索引词典内存中倒排文件磁盘上
类似于mysql里的like语句。把doc中存储的内容按照词拆分成一个个词条term词条组合成词典即词典词条指针。指针指向出现过的文档doc。 基础概念大概就这些。
下一篇会根据一个ES中存储的例子来详细介绍下ES的使用。 荐参考资料
2万字详解吃透 ES
