HDFS擴容方法

2021-06-18 06:31:08 字數 354 閱讀 2995

當hadoop執行一段時間之後,有可能會出現hdfs空間不夠,導致資料無法再放入hdfs的情況。

可以通過修改data目錄的位置來獲取更多的空間

hadoop dfsadmin -report檢視所有節點的空間占用情況

在core-site.xml中

hadoop.tmp.dir 為新目錄如 /mnt/sdbmount/data/tmp

hdfs-site.xml中

dfs.name.dir  為新目錄如 /mnt/sdbmount/data/hdfs/dfsname

dfs.data.dir  為新目錄如 /mnt/sdbmount/data/hdfs/dfsdata,多個目錄用都好分隔

LVM 裸盤擴容方法

據盤按照官方教程 資料盤擴容 將資料盤從100g 擴容到200g 重啟例項後,fdisk 可以看到資料盤 dev vdb 容量已經增加,但是在擴容之前,未做分割槽,是直接用 dev vdb 整個盤做了邏輯卷。現在看到的是 dev vdb,容量已經增加到200g,但邏輯卷分割槽還是 100g 按照官方...

HashMap原始碼 擴容resize方法

環境 jdk1.8 resize方法原始碼如下 final node resize 初始化新容量值為舊容量值的2倍,然後與最大容量值比較,當新容量值小於最大容量值,且舊容量值大於等於預設初始化容量值,這時也對新閾值賦值為舊閾值的2倍 else if newcap oldcap 1 maximum c...

LVM 正確擴容方法及 擴容失敗後超級塊的恢復

超級塊恢復 lvm 擴容時,若不先umount 分割槽,直接擴容,有可能導致擴容不成功,再次重啟時,無法正常重啟。需要進行超級塊恢復。超級塊 從磁碟上讀出來的第一塊資訊就是超級塊 superblock 它記錄了磁碟的幾何尺寸,可用空間容量 最重要的是記錄了第乙個inode位置,就是 的拉,ext2 ...