Hadoop偽分布配置

設定hadoop環境變數：

1、使用gedit ~/.bash命令開啟文字編輯器

2、在頭部加入：# hadoop environment variables

export hadoop_home=/usr/local/hadoop

export hadoop_install=$hadoop_home

export hadoop_mapred_home=$hadoop_home

export hadoop_common_home=$hadoop_home

export hadoop_hdfs_home=$hadoop_home

export yarn_home=$hadoop_home

export hadoop_common_lib_native_dir=$hadoop_home/lib/native

export path=$path:$hadoop_home/sbin:$hadoop_home/bin

3、使配置變數生效：

source ~/.bashrc

hadoop的配置檔案位於/usr/local/hadoop/etc/hadoop中，配置偽分布需要修改兩個配置檔案core-site.xml和hdfs-site.xml。hadoop的配置檔案是 xml 格式，每個配置以宣告 property 的 name 和 value 的方式來實現。

linux下gedit使用方法：檔案路徑為：gedit ./etc/hadoop/core-site.xml

core-site.xml修改為：

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

abase for other temporary directories.

fs.defaultfs

hdfs://localhost:9000

hdfs-site.xml修改為：

dfs.replication

1dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

配置完成後，執行namenode格式化，使用命名：./bin/hdfs namenode -format

結果若為exitting with status 0 格式化成功

完成後，使用命令./sbin/start-dfs.sh開啟守護程序

啟動完成後，使用jps命令檢視是否成功啟動，此時應有「namenode」、」datanode」和「secondarynamenode」還有jps三個，若沒有其中的任何乙個都為啟動失敗，需要仔細檢查之前的步驟中是否有錯誤，並可以根據日誌檔案判斷到底是哪出現了問題，

可以直接根據路徑去找到這個檔案，也可以使用指令cat 完成開啟

我出的問題主要有：

1、配置檔案中修改因為粗心，有的地方路徑沒有打對，導致secondarynode沒有啟動起來，後來仔細對照後完成了secondaryname的啟動。

2、在secondarynamenode啟動起來後，發現datanode不能啟動起來了，解決方法見

原因可能為在調secondarynamenode的時候多次的格式化了namenode，導致namenode和datanode的clusterid不一致。

更詳細的安裝及配置請檢視林子雨老師的教程。