資料塊在資料節點上是按照如下方式儲存的。
首先是乙個儲存的根目錄/hadoop/data/dfs/dn，如下圖所示：
接著進入current目錄，如下圖所示：
再進入後續的bp-433072574-192.168.1.224-1440568979639下current目錄，如下圖所示：
在它下面，有乙個版本號檔案version和分布式檔案系統使用情況檔案dfsused，然後就是兩個資料夾，其中rbw儲存的是處於寫過程中的資料塊，而finalized儲存的則是寫已完成並提交的資料塊。我們看下finalized下的內容，如下圖所示：
finalized下有很多子目錄，進入subdir4，如下圖所示：
又有很多子目錄，再進入subdir42，如下圖所示：
這就是資料塊資料檔案及其元檔案的真正儲存地了，其中blk開頭的資料塊資料檔案，數字表示資料塊id，而.mta結尾的則是資料塊元資料問檔案。資料塊副本的儲存路徑有乙個基礎路徑，並由眾多的子路徑保持組成。這幾點與我們在《hdfs原始碼分析之資料塊block、副本replica》一文中講到的一樣。
HDFS中的資料塊
建立乙個321m的big file.txt檔案 寫乙個指令碼 vi test.sh，內容 bin bash for i 0 i 1 i doecho just an example big file.txt done 執行指令碼 bash test.sh 100 增加100行資料，直到檔案大小到32...
HDFS 資料塊損壞
由斷電或其它原因引起的hdfs服務不正常或者塊損壞 一 檢查hdfs的檔案的健康狀態hdfs fsck 二 檢視損壞的塊以及檔案的對應關係hdfs fsck list corruptfileblocks 三 解決辦法 資料可以從其它地方找到 比如mysql 將資料重新重新整理乙份到hdfs上 hdf...
HDFS中的從元資料節點
在hdfs中，namenode用來管理檔案系統的命名空間，其將所有的檔案和資料夾的元資料儲存在乙個檔案系統樹中，這些資訊會在硬碟上儲存為fsimage 命名空間映象 和edits 修改日誌 檔案 其還儲存了檔案包含哪些資料塊，分布在哪些資料節點上，但這些資料並不儲存在硬碟上，而是在系統啟動的時候從資...