已經被前人踩過的坑：
自己在安裝過程中遇到的問題：
hdfs namenode -format即時shutting down也可能是安裝成功的。
在start-dfs.sh中始終遇到
permission denied (publickey,password).
starting datanodes
localhost: permission denied (publickey,password).
starting secondary namenodes [buildserver]
buildserver: permission denied (publickey,password).
因為個人使用的是伺服器上分配的個人賬號，嘗試自己給自己免認證登入。
ssh-keygen -t rsa //用這個生成秘鑰
ssh-copy-id -i ~/.ssh/id_rsa.pub x.x.x.x 替換成伺服器名
ssh x.x.x.x //嘗試試下能否不輸入密碼登入
mapred-site.xml注意需要新增新的字段，不新增這個執行後面的例項會報錯。
>
>
>
mapreduce.framework.namename
>
>
yarnvalue
>
property
>
>
>
mapreduce.admin.user.envname
>
>
hadoop_mapred_home=$hadoop_common_homevalue
>
property
>
>
>
>
>
hadoop_mapred_home=$hadoop_common_homevalue
>
property
>
configuration
>
Hadoop3單個HA集群配置使用viewfs
可以使用類似linux系統的掛載表，對映集群和hdfs檔案系統的路徑。例如 將 user 對映到集群cluster 1，將 data對映到cluster 2.在實際操作中，只需要直接使用hdfs dfs ls data 訪問的就是集群cluster 2中目錄。增加nfly系統，可以鏈結乙個目錄到多個...
八天學會hadoop 3 流量排序統計實戰
1.map task 過程中會把資料寫入到記憶體中，在spill寫入之前，會先進行二次排序，首先根據資料所屬的partition進行排序，然後每個partition中的資料再按key來排序。2.接著會進行combine過程 如果設定了combiner了的話 combine本身也是乙個reducer ...
ubuntu下hadoop安裝與配置
安裝前的建議 將 vm 虛擬機器連上網路後，在 securerct 中連線ubuntu，然後進行編寫。securecrt 可以直接複製 如果在ubuntu桌面就必須純手打 無法將外部瀏覽器的內容複製進去。利用 securerct 可以進行 windows 與 linux 檔案傳輸，比如在 windo...