黑猴子的家 Zookeeper 節點型別

2021-08-30 08:45:15 字數 764 閱讀 1626

1、znode有兩種型別

短暫(ephemeral):客戶端和伺服器端斷開連線後,建立的節點自己刪除

持久(persistent):客戶端和伺服器端斷開連線後,建立的節點不刪除

2、znode有四種形式的目錄節點(預設是persistent )

(1)持久化目錄節點(persistent)

客戶端與zookeeper斷開連線後,該節點依舊存在

(2)持久化順序編號目錄節點(persistent_sequential)

客戶端與zookeeper斷開連線後,該節點依舊存在,只是zookeeper給該節點名稱進行順序編號

(3)臨時目錄節點(ephemeral)

客戶端與zookeeper斷開連線後,該節點被刪除

(4)臨時順序編號目錄節點(ephemeral_sequential)

客戶端與zookeeper斷開連線後,該節點被刪除,只是zookeeper給該節點名稱進行順序編號

建立znode時設定順序標識,znode名稱後會附加乙個值,順序號是乙個單調遞增的計數器,由父節點維護

4、分布式系統中

在分布式系統中,順序號可以被用於為所有的事件進行全域性排序,這樣客戶端可以通過順序號推斷事件的順序

黑猴子的家 Zookeeper 日誌配置

victor node1 conf vim log4j.properties zookeeper.root.logger info,rollingfile zookeeper.log.file zookeeper.log 按照日期每天輸出logs max log file size of 10mb ...

黑猴子的家 Hadoop Checkpoint機制

fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作,並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以,這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話,checkpoint由secondname...

黑猴子的家 FileInputFormat切片機制

1 job提交流程原始碼詳解 waitforcompletion submit 1 建立連線 connect 1 建立提交job的 new cluster getconfiguration 2 判斷是本地yarn還是遠端 initialize jobtrackaddr,conf 2 提交job su...