我在微服務組裡面主要負責配置中心的構建，我們的配置中心使用到了etcd。在我們的內網環境中搭建了三個節點的etcd，不過這三個節點的etcd都搭建在同一臺機器上。後來機器資源不夠了系統直接kill了etcd，導致內網的etcd三個節點全部掛掉了。剛開始想逐個啟動就完事了，但是按照之前的data-dir啟動之後發現三個節點握手存在問題，原因是三個節點快取資料的data目錄裡面都有節點以及資料資訊，導致握手不成功。網上查了一些資料後發現這應該算是一次故障的恢復，解決方案是先以掛掉之前的乙個節點為基礎啟動只有乙個節點的集群，然後往這個集群中新增新節點等待資料同步。事實上，etcd分開部署掛半數以下還是可以正常訪問的，這次全掛了相當於從備份資料中恢復。
下面是執行恢復的具體命令：
etcd --data-dir=data.etcd2 --name machine-2 --initial-advertise-peer-urls --listen-peer-urls --advertise-client-urls --listen-client-urls --initial-cluster machine-2= --initial-cluster-token token-token --initial-cluster-state new --force-new-cluster >> /var/log/etcd/machine-2 2>&1 &
rm -rf data.etcd3
etcdctl member list
etcdctl member add machine-3
etcd --data-dir=data.etcd3 --name machine-3 --initial-advertise-peer-urls --listen-peer-urls --advertise-client-urls --listen-client-urls --initial-cluster machine-2=,machine-3= --initial-cluster-state existing --initial-cluster-token token-token >> /var/log/etcd/machine-3 2>&1 &
rm -rf data.etcd1
etcdctl member list
etcdctl member add machine-1
etcd --data-dir=data.etcd1 --name machine-1 --initial-advertise-peer-urls --listen-peer-urls --advertise-client-urls --listen-client-urls --initial-cluster machine-2=,machine-3=,machine-1= --initial-cluster-state existing --initial-cluster-token token-token >> /var/log/etcd/machine-1 2>&1 &
總計部署了三個節點，節點快取資料的目錄分別是data.etcd1、data.etcd2、data.etcd3。我是刪除 data.etcd1、data.etcd3目錄保留data.etcd2目錄，然後用data.etcd2為基礎進行恢復的。
當時著急恢復就沒有記錄報錯資訊，先記錄一下我恢復一下現場把詳細的報錯資訊補充上
etcd節點故障處理
問題 巡檢發現k8s集群的etcd集群狀態不對,其中有乙個節點不健康,現象如下 而且查詢etcd日誌沒有太多報錯資訊,時間和證書都是正常的,而且也沒有防火牆問題,於是開始進行如下操作 1.將有故障的etcd節點remove出集群 由上面資訊可知,有故障的etcd節點為etcd 2這個,對應etcd ...
Etcd 新增節點
參考部落格 測試系統 centos 6.5 測試etcd版本 3.1.6 測試分布式etcd 節點個數 3 etcd 新增節點測試 資源有限。我們先刪除乙個節點，再新增節點 新增節點 1.已處於健康狀態的節點終端傳送指令 etcdctl member add infra3 終端會返回 新增節點下次啟...
Vertica節點故障後的恢復經過
vertica集群中一台伺服器故障，導致節點down了。通過admintools圖形節點的restart vertica on host功能重啟節點服務，一直失敗。重新stop整個資料庫，然後再start，還是不行，其它節點都正常，那個故障節點還是down。檢視日誌，提示 data consiste...