Hadoop 配置檔案簡介

2022-02-17 12:25:55 字數 1127 閱讀 3628

1、core-site.xml檔案

這是乙個描述集群中namenode結點的uri-統一資源識別符號(包括協議,主機名稱,埠號),集群裡面的每一台機器都需要知道 namenode的位址。datanode結點會先在namenode上註冊,這樣它們的資料才可以被利用。獨立的客戶端程式通過這個uri跟 datenode互動,以取得檔案的塊列表。

fs.default.name

hdfs://localhost:9000

hadoop.tmp.dir是hadoop檔案系統依賴的基礎配置,很多路徑都依賴它。如果hdfs-site-xml中不配置namenode 和datanode的存放位置,預設就放在這個路徑下。

2、hdfs-site-xml檔案

dfs.replication,它決定著系統裡面的檔案塊的資料備份個數。對於乙個實際的應用,它應該被設為3(這個數字並沒有上限,但更多的備份可能 並沒有作用,而且會占用更多的空間)。少於三個的備份,可能會影響到資料的可靠性(系統故障時,也許會造成資料丟失)。

hadoop.tmp.dir

/home/hdfs/tmp

dfs.data.dir這是datanode結點被指定儲存資料的本地檔案系統路徑。datanode結點上的這個路徑沒必要完全相同。因為每台機器的

環境很可能是不一樣的。但如果每台機器上的這個路徑都是統一配置的話,工作會變得簡單一些。預設情況下,它的值是hadoop.temp.dir,這個路

徑只能用於測試的目的,因為,他很可能會丟失掉一些資料,所以,這個值最好還是被覆蓋。

dfs.name.dir 這是namenode結點儲存hadoop檔案資訊的本地系統路徑。這個值只對namenode有效,datanode並不需要使用它。上面對於/tmp的警告同樣使用於這裡。在實際應用中,它最好被覆蓋掉。

dfs.name.dir

/home/hdfs/name

dfs.data.dir

/home/hdfs/data

Hadoop配置檔案彙總

共8個配置檔案 namenode位址,hadoop執行產生檔案儲存位址 core cite.xml 設定後本地模式不可用,因為namenode位址修改為hdfs了,預設是file fs.defaultfs hdfs localhost102 9000 hadoop.tmp.dir opt modul...

hadoop集群配置檔案

配置檔案與功能對應 修改core site.xml檔案 fs.defaultfs hdfs hadoop01 8020 在哪一台配,namenode就在哪一台啟動 io.file.buffer.size 4096 hadoop.tmp.dir home hadoop hadoop 2.6.0 had...

Hadoop配置檔案同步指令碼

同步hadoop的配置檔案,總是scp,這很麻煩,現在寫了乙個同步指令碼 這個指令碼會先備份遠端伺服器的配置檔案,然後再同步 如果同步的次數多了,可以按照日誌刪除配置檔案比如 find name 20150604 xargs rm f 指令碼內容如下 bin bash 用於同步配置檔案 配置檔案路徑...