安徽省六安市建设局网站,唐山百度推广,app开发公司被骗报警,可以绑定域名的免费网站Elasticsearch是面向文档型数据库#xff0c;一条数据在这里就是一个文档。为了方便大家理解#xff0c;我们将Elasticsearch里存储文档数据和关系型数据库MySQL存储数据的概念进行一个类比 ES里的Index可以看做一个库#xff0c;而Types相当于表#xff0c;Documents则相当… Elasticsearch是面向文档型数据库一条数据在这里就是一个文档。为了方便大家理解我们将Elasticsearch里存储文档数据和关系型数据库MySQL存储数据的概念进行一个类比 ES里的Index可以看做一个库而Types相当于表Documents则相当于表的行。 这里Types的概念已经被逐渐弱化Elasticsearch 6.X中一个index下已经只能包含一个typeElasticsearch 7.X中, Type的概念已经被删除了。 1. 集群(Cluster) 1.1 集群简介 分布式系统的可用性与扩展性 高可用性 服务可用性一允许有节点停止服务 数据可用性部分节点丢失不会丢失数据 可扩展性 请求量提升一数据的不断增长将数据分布到所有节点上 Easticsearch 的分布式架构的好处 存储的水平扩容 提高系统的可用性部分节点停止服务整人集群的服务不受影响 Elasticsearch的分布式架构 不同的集群通过不同的名字来区分默认名字“elasticsearch 通过配置文件修改或者在命令行中-E cluster.namecluster_name 进行设定 一人集群可以有一人或者多人节点 一个集群就是由一个或多个服务器节点组织在一起共同持有整个的数据并一起提供索引和搜索功能。 一个Elasticsearch集群有一个唯一的名字标识这个名字默认就是”elasticsearch”。这个名字是重要的因为一个节点只能通过指定某个集群的名字来加入这个集群。 1.1 集群健康状态 # 获取集群健康状态
GET _cluster/health
# 获取集群健康状态精确到索引
GET _cluster/health?levelindices
# 获取集群健康状态精确到分片
GET _cluster/health?levelshards
# 获取集群健康状态精确到某几个索引
GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights
# 获取集群健康状态精确到某个索引的分片
GET /_cluster/health/kibana_sample_data_flights?levelshards {cluster_name : elasticsearch,status : green,timed_out : false,number_of_nodes : 1,number_of_data_nodes : 1,active_primary_shards : 12,active_shards : 12,relocating_shards : 0,initializing_shards : 0,unassigned_shards : 0,delayed_unassigned_shards : 0,number_of_pending_tasks : 0,number_of_in_flight_fetch : 0,task_max_waiting_in_queue_millis : 0,active_shards_percent_as_number : 100.0
} 1.2 集群详细信息 GET _cluster/state 1.3 集群的统计信息 GET _cluster/stats 返回结果包含集群、节点、索引的详细统计信息。 1.3 集群的设置信息 GET /_cluster/settings
# 包含默认值设置
GET /_cluster/settings?include_defaultstrue {persistent : { },transient : { }
} 2. 节点(Node) 2.1 节点简介 节点是一个 Elasticsearch 的实例本质上就是一个JAVA进程。 一台机器上可以运行多个Elasticsearch 进程但是生产环境一般建议一台机器上只运 行一个 Elasticsearch 实例。 每一个节点都有名字通过配置文件配置或者启动时候-E node.namenode1指定。 每一个节点在启动之后会分配一个 UID保存在 data 目录下。 集群中包含很多服务器一个节点就是其中的一个服务器。作为集群的一部分它存储数据参与集群的索引和搜索功能。 一个节点也是由一个名字来标识的默认情况下这个名字是一个随机的漫威漫画角色的名字这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的因为在这个管理过程中你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下每个节点都会被安排加入到一个叫做“elasticsearch”的集群中这意味着如果你在你的网络中启动了若干个节点并假定它们能够相互发现彼此它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。 节点类型 描述 Master-eligible nodes 和 Master Node 每个节点启动后默认就是一个Master eligible节点可以设置 node.master:false 禁止 Master-eligible节点可以参加选主流程成为Master节点 当第一个节点启动时候它会将自己选举成Master节点 每个节点上都保存了集群的状态只有Master节点才能修改集群的状态信息 集群状态Cluster State维护了一个集群中必要的信息 1所有的节点信息 2所有的索引和其相关的 Mapping 与 Setting 信息 3分片的路由信息 任意节点都能修改信息会导致数据的不一致性 Data Node 可以保存数据的节点叫做Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用 Coordinating Node 负责接受Client的请求将请求分发到合适的节点最终把结果汇集到一起每个节点默认都起到了 Coordinating Node的职贵 Hot Warm Node 不同硬件配置的 Data Node用来实现 Hot Warm 架构降低集群部署的成本 Machine Learning Node 负责跑 机器学习的Job用来做异常检测 Tribe Node (5.3 开始使用 Cross Cluster SerarchTribe Node 连接到不同的 Elasticsearch 集群并且支持将这些集群当成一个单独的集群处理 2.2 节点基本信息 GET _cat/nodes?v
GET /_cat/nodes?vhid,ip,port,v,m 2.3 获取单个节点的详细信息 GET /_nodes/node-1 3. 索引(Index) 一个索引就是一个拥有几分相似特征的文档的集合。比如说你可以有一个客户数据的索引另一个产品目录的索引还有一个订单数据的索引。一个索引由一个名字来标识必须全部是小写字母并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候都要使用到这个名字。在一个集群中可以定义任意多的索引。 能搜索的数据必须索引这样的好处是可以提高查询速度比如新华字典前面的目录就是索引的意思目录可以提高查询速度。 Elasticsearch索引的精髓一切设计都是为了提高搜索的性能。 3.1 页面查看索引信息 页面查看索引信息左侧菜单打开StackManagement 包括隐藏的索引 3.2 命令查看索引信息 或者可以切换到开发工具视图用开发工具查询 GET /_cat/indices 3.3 查看kibana前缀的索引信息 GET /_cat/indices/kibana*?vsindex 3.4 查看状态为健康的索引信息 GET /_cat/indices?vhealthgreen 3.5 索引文档数量排序 GET /_cat/indices?vsdocs.count:desc 3.6 查看单个索引的详细信息 GET kibana_sample_data_ecommerce 在这里会列出索引的别名、映射和设置信息。 3.7 查看索引的文档总数 #查看索引的文档总数
GET kibana_sample_data_ecommerce/_count {count : 4675,_shards : {total : 1,successful : 1,skipped : 0,failed : 0}
}3.8 查看索引的前10条文档 #查看前10条文档了解文档格式
POST kibana_sample_data_ecommerce/_search 3.9 创建索引 PUT myindex 3.10 删除索引 DELETE myindex 4.分片(Shards) 4.1 分片简介 一个索引可以存储超出单个节点硬件限制的大量数据。比如一个具有10亿文档数据的索引占据1TB的磁盘空间而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求响应太慢。为了解决这个问题Elasticsearch提供了将索引划分成多份的能力每一份就称之为分片。 当你创建一个索引的时候你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”这个“索引”可以被放置到集群中的任何节点上。 分片很重要主要有两方面的原因 1允许你水平分割 / 扩展你的内容容量。 2允许你在分片之上进行分布式的、并行的操作进而提高性能/吞吐量。 至于一个分片怎样分布它的文档怎样聚合和搜索请求是完全由Elasticsearch管理的对于作为用户的你来说这些都是透明的无需过分关心。 被混淆的概念是一个 Lucene 索引 我们在 Elasticsearch 称作 分片 。 一个 Elasticsearch 索引 是分片的集合。 当 Elasticsearch 在索引中搜索的时候 他发送查询到每一个属于索引的分片(Lucene 索引)然后合并每个分片的结果到一个全局的结果集。 总之每个索引可以被分成多个分片。一个索引也可以被复制0次意思是没有复制或多次。一旦复制了每个索引就有了主分片作为复制源的原来的分片和复制分片主分片的拷贝之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后你可以在任何时候动态地改变复制的数量但是你事后不能改变分片的数量。默认情况下Elasticsearch中的每个索引被分片1个主分片和1个复制这意味着如果你的集群中至少有两个节点你的索引将会有1个主分片和另外1个复制分片1个完全拷贝这样的话每个索引总共就有2个分片我们需要根据索引需要确定分片个数。 4.2 主分片(Primary Shard )和副本分片(Replica Shard) 主分片用以解决数据水平扩展的问题。通过主分片可以将数据分布到集群内的所有节点之 一个分片是一人运行的 Lucene 的实例 主分片数在索引创建时指定后续不允许修改除非 Reindex副本用以解决数据高可用的问题。分片是主分片的拷贝。 副本分片数可以动态题调整。 增加副本数还可以在一定程度上提高服务的可用性读取的吞吐。 4.3 分片设定策略 一个三节点的集群中blogs 索引的分片分布情况思考增加一个节点或改大主分片数对系统的影响 对于生产环境中分片的设定需要提前做好容量规划 分片数设置过小 1后续无法增加节点实现水品扩展 2单个分片的数据量太大导致数据重新分配耗时 分片数设置过大 1影响搜索结果的相关性打分影响统计结果的准确性 2单个节点上过多的分片会导致资源浪费同时也会影响性能 37.0开始默认主分片设置成1解决了over-sharding的问题 GET _cat/shards
GET _cat/shards?hindex,shard,prirep,state,unassigned.reason 5.副本(Replicas) 在一个网络 / 云的环境里失败随时都可能发生在某个分片/节点不知怎么的就处于离线状态或者由于任何原因消失了这种情况下有一个故障转移机制是非常有用并且是强烈推荐的。为此目的Elasticsearch允许你创建分片的一份或多份拷贝这些拷贝叫做复制分片(副本)。 复制分片之所以重要有两个主要原因 1在分片/节点失败的情况下提供了高可用性。因为这个原因注意到复制分片从不与原/主要original/primary分片置于同一节点上是非常重要的。 2扩展你的搜索量/吞吐量因为搜索可以在所有的副本上并行运行。 总之每个索引可以被分成多个分片。一个索引也可以被复制0次意思是没有复制或多次。一旦复制了每个索引就有了主分片作为复制源的原来的分片和复制分片主分片的拷贝之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后你可以在任何时候动态地改变复制的数量但是你事后不能改变分片的数量。默认情况下Elasticsearch中的每个索引被分片1个主分片和1个复制这意味着如果你的集群中至少有两个节点你的索引将会有1个主分片和另外1个复制分片1个完全拷贝这样的话每个索引总共就有2个分片我们需要根据索引需要确定分片个数。
