zookeeper是乙個分布式的，開放原始碼的分布式應用程式協調服務，是google的chubby乙個開源的實現，是hadoop和hbase的重要元件。它是乙個為分布式應用提供一致性服務的軟體，提供的功能包括：配置維護、網域名稱服務、分布式同步、組服務等。由於工程師不能很好地使用鎖機制以及基於訊息協調機制有時候不適合使用，因此需要一種可靠的、方便的協調服務。zookeeper就解決了這樣的問題，避免競爭條件和死鎖的問題。
有關zookeeper原理可參考:
gedit ~/.bashrc
新增:export zookeeper_home=解壓路徑
export path=$/bin
儲存之後
source ~/.bashrc
單機版
ticktime=2000
datadir=/home/user/hadoop/zookeeper-3.4.9/data
clientport=2181
(最少三個節點)每個節點都需要複製乙份zookeeper
ticktime=2000
datadir=/home/user/hadoop/zookeeper-3.4.9/data
clientport=2181
initlimit=5
synclimit=2
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888
zookeeper.log.dir=/home/user
/hadoop/zookeeper-3.4.9/logs
zkserver.sh start
#連線connection
zkcli.sh -server 127.0
.0.1:2181
ps:對於完全分布式版本，需要在datadir下（zoo.cfg配置檔案中可看到具體路徑）新建myid，其中存放對應id(1
23,對應配置檔案中server.x=... 其中x對應id)
Hadoop學習筆記之Hadoop簡介
apache hadoop 是乙個開源的 可靠的 靈活的 分布式的計算系統 來自官網 主要受google 三篇 的啟發 gfs mapreduce bigtable hadoop 海量資料的儲存 hdfs hadoop distributed file system 海量資料的分析 mapreduc...
Hadoop學習筆記之YARN
yarn service框架提供了一流的支援和api，可以在yarn中本地化時間執行的服務。簡而言之 in a nutshell 它作為乙個容器編排平台，用於管理yarn上的貨櫃化服務。它支援yarn中的docker容器和傳統的基於程序的容器。該框架的職責包括執行配置解決方案和安裝，生命週期管理 如...
hadoop學習筆記之HiveSQL 資料查詢
資料查詢 select all distinct select expr,from table reference where where condition group by col list cluster by col list distribute by col list sort by c...