HDFS, 如何配置多目錄儲存 ?

2021-10-03 07:10:54 字數 680 閱讀 9354

不多說,直接上手!

操作物件:$hadoop_home/etc/hadoop/hdfs-site.xml

配置:(新增下面配置到 hdfs-site.xml 中…)

dfs.namenode.name.dir

file:///$/dfs/nn/name1,file:///$/dfs/nn/name2

dfs.datanode.data.dir

file:///$/dfs/dn/dn1,file:///$/dfs/dn/dn2,file:///$/dfs/dn/dn3

## 路徑解讀: "file://" + "$/dfs/dn/dn1"

## $見:

注意

修改完hdfs-site.xml後,需要重新格式化namenode,新的配置才能應用!!!

那麼,如果你之前的配置是「單目錄」儲存,並且namenode格式化了,為了不影響現在的重新格式化,兩種方法:

刪除之前所生成的目錄檔案,(格式化後重新生成!)

定義新的儲存目錄,(格式化生成目錄與之前的目錄不衝突即可!)

強烈建議

您嘞,最好在安裝配置hadoop的時候,就給安排好了!!!

CDH集群 HDFS資料儲存 更換目錄

cdh集群中,資料檔案位置預設在 dfs dn 中,這個目錄所屬的碟符是 但是 只有50g大小,還有其他各種檔案的日誌什麼的,空間很緊張。今天啟動指令碼上傳檔案到hive,因為空間問題一直報錯。查閱了資料,需要將cdh集群 hdfs資料儲存 更換目錄。通過命令檢視各個碟符 占用情況 1.定位思路 先...

NameNode的多目錄配置

namenode的本地目錄可以配置多個,每個目錄相同,增加可靠性 在hdfs site.xml檔案中增加 dfs.namenode.name.dir file dfs name1,file dfs name2 增加之前需要重新格式化集群 root testnote02 stop yarn.sh ro...

八 NameNode多目錄配置

我這裡演示的是已經使用的集群,所以需要刪除data與log檔案 如果是初次配置集群不用。為什麼要配置多目錄?namenode的本地目錄配置成多個,且每個目錄存放內容相同,增加了可靠性。具體配置調整如下 1 在hdfs site.xml檔案中增加如下內容 dfs.namenode.name.dir f...