搭高可用的集群有兩種方式，一種是基於檔案系統，一種是基於zookeeper。但是zookeeper有選舉的功能，也就是當一台master掛掉之後，備用的master能夠被zookeeper啟動起來，並基於zookeeper恢復資料。
託管主節點的資訊，hdfs(namenode),yarn(resourcemanager)。
基於檔案系統，當master掛掉之後，需要手動啟動乙個master,新的master會基於檔案系統上面的資訊恢復。
基於zookeeper,當乙個master掛掉了，他會自動選取乙個新的master作為alive狀態的master,選舉出來後，再基於zookeeper儲存的資訊恢復。
worker僅僅向master匯報的資訊只有workerid， 也就是告訴 master 我還活著，至於 worker 內部的資源資訊，因為 spark 是粗粒度的資源排程，在worker啟動時就已經向master匯報了資源情況，所以 master內部有它的資源資訊。
Keepalived Nginx高可用配置
很久就想試試keepalived nginx高可用怎麼配置，一直沒有動手。正所謂 紙上得來終覺淺，絕知此事要躬行 so let s go,step by step.主要需要keepalived nginx apache，所以要安裝這幾個。我用的centos7的虛擬機器。ip和埠規劃如下 作用ip 埠...
高可用HA配置
注意 在此之前zookeeper要配置好 1.首先我們修改core site.xml檔案 1 指定hdfs的nameservice為mycluster fs.defaultfs hdfs mycluster 2 指定hadoop臨時目錄 hadoop.tmp.dir home master hado...
Keppalived高可用配置
note keepalived軟體起初是專為lvs負載均衡軟體設計的，用來管理並監控lvs集群系統中各個服務節點的狀態，後來又加入了可以實現高可用的vrrp功能。因此，keepalived除了能夠管理lvs軟體外，還可以作為其他服務 例如 nginx haproxy mysql等 的高可用解決方案軟...