常用的埠配置
1、 hdfs埠
引數描述
預設配置檔案
例子值fs.default.name namenode
namenode rpc互動埠
namenode web管理埠
50070
hdfs- site.xml
0.0.0.0:50070
dfs.datanode.address
datanode 控制埠
50010
hdfs -site.xml
0.0.0.0:50010
dfs.datanode.ipc.address
datanode的rpc伺服器位址和埠
datanode的http伺服器和埠
50075
hdfs-site.xml
0.0.0.0:50075
2、 mr埠 引數
描述預設
配置檔案
例子值mapred.job.tracker
job-tracker互動埠
8021
mapred-site.xml
hdfs://master:8021/
jobtracker的web管理埠
task-tracker的http埠
50060
mapred-site.xml
0.0.0.0:50060
3 其它埠
引數描述
預設配置檔案
例子值dfs.secondary.http.address
secondary namenode web管理埠
50090
hdfs-site.xml
0.0.0.0:50090
3、三個預設配置參考檔案說明
3.1 core-default.html
引數名引數值
引數說明
hadoop.tmp.dir
/tmp/hadoop-$
臨時目錄設定
hadoop.native.lib
true
使用本地hadoop庫標識。
io.file.buffer.size
4096
流檔案的緩衝區為4k
fs.default.name
file:///
預設的檔案uri標識設定。
3.2 hdfs-default.html/mapred-default.html
引數名引數值
引數說明
dfs.namenode.logging.level
info
輸出日誌型別
備份名稱節點的http協議訪問位址與埠
dfs.datanode.handler.count
3
資料節點的服務連線處理執行緒數
dfs.name.dir
$/dfs/name
存貯在本地的名字節點資料鏡象的目錄,作為名字節點的冗餘備份
dfs.data.dir
$/dfs/data
資料節點的塊本地存放目錄
mapred.local.dir
$/mapred/local
mr的中介資料檔案存放目錄
mapred.system.dir
$/mapred/system
mr的控制檔案存放目錄
mapred.temp.dir
$/mapred/temp
mr臨時共享檔案存放區
mapred.map.tasks
2每個作業預設的map任務數為2
mapred.reduce.tasks
1每個作業預設的reduce任務數為1
常用的埠配置
引數描述 預設配置檔案 例子值fs.default.name namenode namenode rpc互動埠 namenode web管理埠 hdfs site.xml 0.0.0.0 50070 dfs.datanode.address datanode 控制埠 50010 hdfs site....
Hadoop常用埠的配置
以下列表常用的hadoop配置埠 基於hadoop2.7.4所列，不過不同hadoop版本在埠配置上所指意義基本是不變化的，如有例外請自查 引數 描述預設 配置檔案 例子值fs.default.name namenode namenode rpc互動埠 namenode web管理埠 50070 h...
hadoop常用的埠配置
引數 描述預設 配置檔案 例子值fs.default.name namenode namenode rpc互動埠 namenode web管理埠 hdfs site.xml 0.0.0.0 50070 dfs.datanode.address datanode 控制埠 50010 hdfs site...