9個shard 3個 primary 6 個 replica
2. master 節點宕機 ，宕機的一瞬間，p0這個primary shard 就沒了，此時就不是active status,就不是所有的primary shard 是active ，所以集群狀態變為 red, 容錯第一步 選舉新的master
3. 新的master 將丟失的primary shard 的某個 replica shard 提公升為primary shard, 此時status 為 yellow，因為所有的primary shard 都是 active ，但是 不是所有的replica shard 是active
4. 重啟故障節點，new master，會將丟失的副本都copy乙份到該node上去，而且該node會使用之前已有的shard資料，只是同步一下宕機之後發生過的修改，之後 status 變為 green
（32）ElasticSearch的容錯機制
elasticsearch的容錯機制處理過程 以9個shard，3個節點為例，如果master節點宕機，此時不是所有的primary shard都是active status，所以此時的集群狀態是red。容錯處理的第一步 重新選舉一台伺服器作為master 容錯處理的第二步 新選舉的master會把...
Spark Spark容錯機制
一般來說，分布式資料集的容錯性有兩種方式 資料檢查點和記錄資料的更新。面向大規模資料分析，資料檢查點操作成本很高，需要通過資料中心的網路連線在機器之間複製龐大的資料集，而網路頻寬往往比記憶體頻寬低得多，同時還需要消耗更多的儲存資源。因此，spark選擇記錄更新的方式。但是，如果更新粒度太細太多，那麼...
Spark容錯機制
一般來說，分布式資料集的容錯性有兩種方式 資料檢查點和記錄資料的更新。面向大規模資料分析，資料檢查點操作成本很高，需要通過資料中心的網路連線在機器之間複製龐大的資料集，而網路頻寬往往比記憶體頻寬低得多，同時還需要消耗更多的儲存資源。因此，spark選擇記錄更新的方式。但是，如果更新粒度太細太多，那麼...