最近自己開始部署hadoop相關一套環境，目前還沒在生產環境下使用，只在cygwin的虛擬環境下進行的搭建，參考各安裝手冊後，發現還是有些出入，特整理下我搭建的步驟。
首先安裝cygwin，
接著是sshd
hadoop
zookeeper
hbase
我安裝的過程，參考的是《hadoop開發者第一期.pdf》文件，不過根據我的實際操作情況來看，還是有點誤差的。
這裡主要是介紹下注意事項：
1、按照文件配置完成hadoop後，需要執行bin/hadoop namenode -format 注：namenode是預設
不然hadoop啟動後，會出現執行，bin/hadoop fs -ls出錯
2、需要單獨安裝zookeeper，不然hbase的shell命令裡，執行create 『test','data' 不能正常執行，另外就是無法連線到zookeeper上。
3、執行hbase時，出現了org.apache.hadoop.hbase.masternotrunningexception: null這樣的錯誤，主要是在配置檔案中將：
hbase.cluster.distributed
false
這個應該為true
啟動步驟是：ssh localhost完成後，依次啟動hadoop->zookeeper->hbase
補充下，今天看到配置zookeeper的屬性
1、hbase預設通過zookeeper管理，配置項在/jz/hbase-0.20.5/conf/hbase-env.sh檔案中：
# tell hbase whether it should manage it's own instance of zookeeper ornot.
# export hbase_manages_zk=true
如果需要採用自帶安裝的zookeeper，可以將注釋取消，把true修改為false。否則啟動hbase的時候將會提示位址被占用。不過不影響hbase正常使用。
2、通過shell控制台想hbase插入中文資料將會報錯，這是由於hbase中只是存放位元組，採用程式將漢字改為位元組錄入即可。
3、在hbase指令碼中執行shell命令，如果出現以下錯誤，表示hbase中有節點不能正常執行。
nativeexception: org.apache.hadoop.hbase.client.retrie***haustedexception: trying to contact region server 192.168.3.139:60020 for region .meta.,,1, row '', but failed after 7 attempts.
hadoop部署概要
節點分配 控制節點14個 資料節點16個 hdfs namenode server01 server02 datanode server15 server30 journalnode server09 server11 zkfc server01 server02 yarn resourcemana...
hadoop筆記 HA部署
管理指令碼遠端管理節點，再集群中隨便挑一台，把公鑰發給所有 搭建ha時，namenode的zkfc需要免秘鑰，用來管理自己和對方 故障應對 邏輯物理對映 jn相關配置，資訊描述 故障發生時免秘鑰配置 還有一種是shell指令碼 記得格式化之前啟動jn 第一台格式化之後啟動，並且讓後續namenode...
hadoop程式設計實踐（一）
hadoop操作基礎與ide環境配置。然後執行解壓命令，解壓到 usr local sudo tar xvf ideaiu 2018.2.4.tar.gz c usr local 進入該目錄，執行idea.sh，進行安裝 usr local hadoop share hadoop common目錄下...