hdfs預設資料存放路徑

2022-05-09 03:42:08 字數 976 閱讀 3182

1.:/tmp/hadoop-

修改路徑到當前使用者目錄下:

/home/lyxy/tmp/hadoop

注意:格式化的含義-->建立dfs/name/fsimage和edits檔案,針對namenode守護程序的。

開啟namenode守護程序失敗:

a.重新格式化,原有hdfs的資料全部刪除掉(不建議使用)

b.複製到路徑下,重新開啟namenode守護程序,問題解決,因為namenode守護程序開啟的時候需要載入fsimage和edits檔案到記憶體,然而找不到這兩個檔案,所以開啟失敗。

2.檢視系統日誌

3.分別設定dfs相關目錄,在hdfs-default.xml

name目錄

dfs.namenode.name.dir

file://$/dfs/name,file://$/dfs/name1

確定dfs名稱節點應在本地檔案系統的哪個位置儲存名稱表(fsimage)。

如果這是乙個以逗號分隔的目錄列表,則名稱表將被複製到所有目錄中,以實現冗餘

data目錄

dfs.datanode.data.dir

file://$/dfs/data

確定dfs資料節點應該在本地檔案系統上儲存塊的位置。

如果這是以逗號分隔的目錄列表,則資料將儲存在所有已命名的目錄中,通常位於不同的裝置上。 應該為hdfs儲存策略標記相應的儲存型別([ssd] / [磁碟] / [存檔] / [ram_disk])。

如果目錄沒有顯式標記儲存型別,則預設儲存型別為disk。 如果本地檔案系統許可權允許,則不存在的目錄將被建立。

namesecondary目錄

dfs.namenode.checkpoint.dir

file://$/dfs/namesecondary

確定本地檔案系統上dfs輔助名稱節點應該儲存要合併的臨時影象的位置。

如果這是乙個以逗號分隔的目錄列表,則影象將複製到所有目錄中以實現冗餘。

HDFS資料副本存放策略

1.副本放置策略 第一副本 放置在上傳檔案的datanode上 如果是集群外提交,則隨機挑選一台磁碟不太慢 cpu不太忙的節點上 第二副本 放置在於第乙個副本不同的機架的節點上 第三副本 與第二個副本相同機架的不同節點上 hdfs採用一種稱為機架感知 rack aware 的策略來改進資料的可靠性 ...

HDFS副本存放策略

第乙個block副本放在和client所在的node裡 如果是集群外提交,則隨機挑選一台磁碟不太慢 cpu不太忙的節點上 第二個副本放置在與第乙個節點不同的機架中的node中 隨機選擇 第三個副本和第二個在同乙個機架,隨機放在不同的node中。如果還有更多的副本就隨機放在集群的node裡。流水線複製...

HDFS副本存放策略

資料分塊儲存和副本的存放,是保證可靠性和高效能的關鍵 將每個檔案的資料進行分塊儲存,每乙個資料塊又儲存有多個副本。這些資料塊副本分布在不同的機器節點上 設定備份數 方法一 配置檔案hdfs site.xml dfs.replication 3方法二 通過命令修改備份數 bin hadoop fs s...