hadoop集群預設配置和常用配置

2021-07-28 02:41:27 字數 3015 閱讀 6231

配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置檔案,預設下來,這些配置檔案都是空的,所以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法:

2.瀏覽apache官網,三個配置檔案鏈結如下:

這裡是瀏覽hadoop當前版本號的預設配置檔案,其他版本號,要另外去官網找。

其中第乙個方法找到預設的配置是最好的,因為每個屬性都有說明,可以直接使用。

另外,core-site.xml是全域性配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的區域性配置。

hdfs埠

引數描述

預設配置檔案

例子值fs.default.name

namenode rpc互動埠

namenode web管理埠

50070

hdfs-site.xml 

0.0.0.0:50070

dfs.datanode.address

datanode 控制埠

50010

hdfs-site.xml 

0.0.0.0:50010

dfs.datanode.ipc.address

datanode的rpc伺服器位址和埠

datanode的http伺服器和埠

50075

hdfs-site.xml 

0.0.0.0:50075

mr埠

引數描述

預設配置檔案

例子值mapred.job.tracker

job tracker互動埠 

job tracker的web管理埠

task tracker的http埠

50060

mapred-site.xml

0.0.0.0:50060

其他埠

引數描述 

預設 配置檔案

例子值dfs.secondary.http.address 

secondary namenode web管理埠

50090

hdfs-site.xml

0.0.0.0:28680

引數描述 

預設 配置檔案

例子值dfs.name.dir

name node的元資料,以,號隔開,hdfs會把元資料冗餘複製到這些目錄,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

/dfs/name

hdfs-site.xm

/hadoop/hdfs/name

dfs.name.edits.dir

node node的事務檔案儲存的目錄,以,號隔開,

hdfs會把事務檔案冗餘複製到這些目錄,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$hdfs-site.xm

$fs.checkpoint.dir

secondary namenode的元資料以,號隔開,

hdfs會把元資料冗餘複製到這些目錄,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$ /dfs/namesecondary

core-site.xml

/hadoop/hdfs/namesecondary

fs.checkpoint.edits.dir

secondary namenode

的事務檔案儲存的目錄,

以,號隔開,

hdfs會把事務檔案冗餘複製到這些目錄

$core-site.xml

$hadoop.tmp.dir

臨時目錄,其他臨時目錄的父目錄

/tmp/hadoop-$

core-site.xml

/hadoop/tmp/hadoop-$

dfs.data.dir

data node的資料目錄,以,號隔開,hdfs會把資料存在這些目錄下,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$ /dfs/data

hdfs-site.xm

/hadoop/hdfs/data1/data,

/hadoop/hdfs/data2/data

mapred.local.dir

mapreduce產生的中間資料存放目錄,以,號隔開,hdfs會把資料存在這些目錄下,一般這些目錄是不同的塊裝置,不存在的目錄會被忽略掉

$ /mapred/local

mapred-site.xml

/hadoop/hdfs/data1/mapred/local,

/hadoop/hdfs/data2/mapred/local

mapred.system.dir

mapreduce的控制檔案

$ /mapred/system

mapred-site.xml

/hadoop/hdfs/data1/system

引數描述 

預設 配置檔案

例子值false

hdfs-site.xml

true

dfs.replication

檔案複製的副本數,如果建立時不指定這個引數,就使用這個預設值作為複製的副本數

3hdfs-site.xml2

原文:

hadoop集群預設配置和常用配置

配置hadoop,主要是配置core site.xml,hdfs site.xml,mapred site.xml三個配置檔案,預設下來,這些配置檔案都是空的,所以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法 2.瀏覽...

hadoop集群預設配置和常用配置

這裡是瀏覽hadoop當前版本號的預設配置檔案,其他版本號,要另外去官網找。其中第乙個方法找到預設的配置是最好的,因為每個屬性都有說明,可以直接使用。另外,core site.xml是全域性配置,hdfs site.xml和mapred site.xml分別是hdfs和mapred的區域性配置。hd...

hadoop集群預設配置和常用配置

配置hadoop,主要是配置core site.xml,hdfs site.xml,mapred site.xml三個配置檔案,預設下來,這些配置檔案都是空的,所以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法 2.瀏覽...