Hadoop常用配置

2021-06-06 02:42:17 字數 2594 閱讀 9751

這裡是瀏覽hadoop當前版本號的預設配置檔案,其他版本號,要另外去官網找。

其中第乙個方法找到預設的配置是最好的,因為每個屬性都有說明,可以直接使用。

另外,core-site.xml是全域性配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的區域性配置。

hdfs埠

引數描述

預設配置檔案

例子值fs.default.name

namenode rpc互動埠

namenode web管理埠

50070

hdfs-site.xml 

0.0.0.0:50070

dfs.datanode.address

datanode 控制埠

50010 

hdfs-site.xml 

0.0.0.0:50010

dfs.datanode.ipc.address

datanode的rpc伺服器位址和埠

datanode的http伺服器和埠

50075

hdfs-site.xml 

0.0.0.0:50075

mr埠

引數描述

預設配置檔案

例子值mapred.job.tracker

job tracker互動埠 

job tracker的web管理埠

task tracker的http埠

50060

mapred-site.xml

0.0.0.0:50060

其他埠

引數描述 

預設 配置檔案

例子值dfs.secondary.http.address 

secondary namenode web管理埠

50090

hdfs-site.xml

0.0.0.0:28680 引數

描述 預設 

配置檔案

例子值dfs.name.dir

name node的元資料,以,號隔開,hdfs會把元資料冗餘複製到這些目錄,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

/dfs/name

hdfs-site.xm

/hadoop/hdfs/name

dfs.name.edits.dir 

node node的事務檔案儲存的目錄,以,號隔開,hdfs會把事務檔案冗餘複製到這些目錄,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$hdfs-site.xm

$fs.checkpoint.dir

secondary namenode的元資料以,號隔開,hdfs會把元資料冗餘複製到這些目錄,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$/dfs/namesecondary

core-site.xml

/hadoop/hdfs/namesecondary

fs.checkpoint.edits.dir

secondary namenode的事務檔案儲存的目錄,以,號隔開,hdfs會把事務檔案冗餘複製到這些目錄

$core-site.xml

$hadoop.tmp.dir

臨時目錄,其他臨時目錄的父目錄

/tmp/hadoop-$

core-site.xml

/hadoop/tmp/hadoop-$

dfs.data.dir

data node的資料目錄,以,號隔開,hdfs會把資料存在這些目錄下,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$/dfs/data

hdfs-site.xm

/hadoop/hdfs/data1/data,

/hadoop/hdfs/data2/data

mapred.local.dir

mapreduce產生的中間資料存放目錄,以,號隔開,hdfs會把資料存在這些目錄下,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$/mapred/local

mapred-site.xml

/hadoop/hdfs/data1/mapred/local,

/hadoop/hdfs/data2/mapred/local

mapred.system.dir

mapreduce的控制檔案

$/mapred/system

mapred-site.xml

/hadoop/hdfs/data1

Hadoop常用埠配置

core site.xml是全域性配置,hdfs site.xml和mapred site.xml分別是hdfs和mapred的區域性配置。hdfs埠 引數描述 預設配置檔案 例子值fs.default.name namenode rpc互動埠 namenode web管理埠 50070 hdfs ...

Hadoop常用埠的配置

以下列表常用的hadoop配置埠 基於hadoop2.7.4所列,不過不同hadoop版本在埠配置上所指意義基本是不變化的,如有例外請自查 引數 描述預設 配置檔案 例子值fs.default.name namenode namenode rpc互動埠 namenode web管理埠 50070 h...

hadoop常用的埠配置

引數 描述預設 配置檔案 例子值fs.default.name namenode namenode rpc互動埠 namenode web管理埠 hdfs site.xml 0.0.0.0 50070 dfs.datanode.address datanode 控制埠 50010 hdfs site...