1. 準備工具
1. vmware 12
2. centeros6.5mini
3. xshell 5
2. 複製4份虛擬機器檔案為別為node1 , node2 , node3 , node4 (刪除.lck檔案)
3. 分別配置4份虛擬機器的ip.使得windows中可以通過xshell等軟體可以遠端連線
4. 加入4條hosts 內容如下:
192.168.24.129 node1
192.168.24.130 node2
192.168.24.131 node3
192.168.24.132 node4
5. 設定node1免密碼登入:
ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa //生成私鑰和公鑰
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys //將公鑰放到認證檔案中,以便免密碼登入
6. 將node1的公鑰通過命令scp到其他3個node的/opt/檔案中
[root@node1 ~]# cd ~/.ssh
[root@node1 .ssh]# scp ./id_dsa.pub root@node3:/opt/
the authenticity of host 'node3 (192.168.24.131)' can't beestablished.
rsa key fingerprint is2f:ba:ba:42:46:f8:fb:f8:ed:34:1c:79:4e:83:e7:3f.
are you sure you want to continue connecting (yes/no)? yes
7. 分別將其他3個node的公鑰檔案放到配置檔案中
cd /opt
cat id_dsa.pub>> ~/.ssh/authorized_keys
搭建的幾個linux作用如下:
Hadoop環境搭建（二）
一 yarn的配置 啟動命令 sbin yarn daemon.sh start resourcemanager sbin yarn daemon.sh start nodemanager 二 配置mapreduce 三 執行mapreduce程式案例 要求 寫mr程式的一定要有輸入和輸出的路徑 準...
Hadoop環境的搭建
格式化 bin hdfs namenode format可能遇到的問題 在建立臨時檔案的時候沒有許可權 解決方案 sudo chmod r a w opt namendoe 和datanode的都有乙個集群id不同的問題datanode是根據集群id去找集群。如果我們在啟動集群的時候，datanod...
Hadoop中HDFS優缺點
1 資料自動儲存多個副本。它通過增加副本的形式，提高容錯性。2 某乙個副本丟失以後，它可以自動恢復，這是由 hdfs 內部機制實現的，我們不必關心。1 它是通過移動計算而不是移動資料。2 它會把資料位置暴露給計算框架。1 資料規模 能夠處理資料規模達到 gb tb 甚至pb級別的資料。2 檔案規模 ...