综合技术

elasticsearch学习笔记(九)——shard&replica机制以及ES集群节点的问题

微信扫一扫,分享到朋友圈

elasticsearch学习笔记(九)——shard&replica机制以及ES集群节点的问题
0

1、shard和replica知识归纳梳理

(1)一个index包含多个shard

(2)每个shard都是一个最小工作单元,承载部分数据,可以说就是一个lucene实例,拥有完整的建立索引和处理请求的能力

(3)每当ES集群增加节点时,shard会自动在nodes中实现负载均衡

(4)对于primary shard和replica shard,每个document肯定只存在于某一个primary shard以及其对应的replica shard中,不可能存在于多个primary shard中

(5)replica shard时primary shard的副本,主要负责容错,以及承担读请求的负载

(6)primary shard的数量在创建索引的时候就已经固定了,但是replica shard的数量可以随时修改

(7)primary shard的默认数量是5个,replica默认是1,也就是在默认的情况下,有5个primary shard和5个replica shard

(8)primary shard不能和自己的replica shard放在同一个节点上(否则节点宕机,primary shard和副本都丢失,也就起不到容错的作用了),但是可以和其它primary shard的replica shard放在同一个节点上

2、对于单节点ES集群存在的问题

假设我们创建一个索引test_index

PUT /test_index
{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 1
  }
}

(1)单node环境下,创建一个index叫test_index,有5个primary shard,5个replica shard

(2)集群的status是yellow

GET /_cat/health?v
epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1555495650 10:07:30  elasticsearch yellow          1         1      8   8    0    0        6             0                  -                 57.1%

(3)这个时候,只会将5个primary shard分配到仅有的一个node上去,另外5个replica shard是无法分配的

(4)此时集群是可以正常工作的,但是一旦出现节点宕机,数据就会全部丢失,此时节点也不可用,无法承担任何请求

结构如下:

3、对于两个节点ES集群

上面test_index索引的shard分配的结构就会变成:

此时即使存放primary shard的节点挂掉了,ES的shard allocation 会被触发,此时对应的primary shard的一个副本会变成primary shard

在什么场景下会触发Shard的Allocation:

创建/删除一个Index;

加入/离开一个Node;

手动执行了Reroute命令;

修改了Replica设置;

阅读原文...

微信扫一扫,分享到朋友圈

elasticsearch学习笔记(九)——shard&replica机制以及ES集群节点的问题
0
SegmentFault博客

再再再谈996:「一地鸡毛」过后,程序员能否走出加班怪圈?

上一篇

5G,如此“着急”

下一篇

评论已经被关闭。

插入图片

热门分类

往期推荐

elasticsearch学习笔记(九)——shard&replica机制以及ES集群节点的问题

长按储存图像,分享给朋友