Hadoop 開發環境配置

2022-02-21 13:34:05 字數 2139 閱讀 1978

tutorial

按照這個配置好了後,一般都能正常啟動,簡單的檢查,就是在bash 執行jps命令,看datanode, namenode, jobtracker,tasktracker 以及secondarydatanode是否啟動了。沒有檢視日誌:/logs。

core-site.xml

hadoop.tmp.dir

a base for other temporary

directories.

fs.default.name

hdfs:

mapred-site.xml

mapred.job.tracker

10.240.12.52:54311

hdfs-site.xml

dfs.replication

1注意:不管那種方式部署hadoop,如果你的作業系統為windows, 都必須安裝cygwin,同時加入到path中去。

不然會有很多錯誤,如chmod 沒有找到之類。

以下為正確配置後,eclipse 上執行word count程式的輸出,hadoop 版本0.20.2, eclipse plugin version 0.20.*snap*.jar。 

在外掛程式配置過程中,需要注意的地方主要是dfs的路徑,使用者名稱,ssh一定要配置正確,出現問題主要看看日誌,基本上你能碰到的問題,總會有其他人也碰到,如果看了日誌還解決不了,找google,實在不行,看源**。

話說我3個配置檔案就是看了源**自己摸索出來的。

11/09/19 16:41:08 info

jvm.jvmmetrics: initializing jvm metrics with processname=jobtracker,

sessionid=

11/09/19 16:41:08 info

input.fileinputformat: total input paths to process : 3

11/09/19 16:41:09 info

mapred.jobclient: running job: job_local_0001

11/09/19 16:41:09 info

input.fileinputformat: total input paths to process : 3

11/09/19 16:41:09 info

mapred.maptask: io.sort.mb = 100

11/09/19 16:41:09 info

mapred.maptask: data buffer = 79691776/99614720

11/09/19 16:41:09 info

mapred.maptask: record buffer = 262144/327680

11/09/19 16:41:09 info

mapred.maptask: starting flush of map output

11/09/19 16:41:09 info

mapred.maptask: finished spill 0

11/09/19 16:41:09 info

mapred.taskrunner: task:attempt_local_0001_m_000000_0 is done. and is in the

process of commiting

11/09/19 16:41:09 info

mapred.localjobrunner:

11/09/19 16:41:09 info

mapred.taskrunner: task 'attempt_local_0001_m_000000_0' done.

11/09/19 16:41:09 info

mapred.maptask: io.sort.mb = 100

11/09/19 16:41:10 info

mapred.maptask: data buffer = 79691776/99614720

11/09/19 16:41:10 info

mapred.maptask: record buffer = 262144/327680

11/09/19 16:41:10 info

mapred.jobclient:map 100% reduce 0%

在eclipse配置hadoop開發環境

配置環境 虛擬機器安裝偽分布式hadoop環境 虛擬機器環境 centos 6.6 eclipse環境 win7 hadoop版本 2.2.0 eclipse 外掛程式 hadoop2x eclipse plugin 需要注意的問題 hadoop 2x與hadoop1x相比配置上有了比較大的改變,如...

配置Windows下Hadoop環境

在windows系統需要配置hadoop執行環境,否則直接執行 會出現以下問題 could not locate executable null bin winutils.exe in the hadoop binaries原因 缺少winutils.exe 原因 缺少hadoop.dll 1.根據...

開發環境配置

每次換了電腦,都需要折騰一下電腦配置之前用的比較順手的環境,因此在此記錄下個人常用的一些開發工具和環境的配置 alias就是別名的意思,可以配置一些簡單好用的alias提高效率,通過在 bashrc 中新增即可.注 修改.bashrc後,需要通過執行source bashrc來讓修改生效,或者重啟終...