什麼是元資料
任何檔案系統中的資料分為資料和元資料。資料是指普通檔案中的實際資料，而元資料指用來描述乙個檔案的特徵的系統資料，諸如訪問許可權、檔案擁有者以及檔案資料塊的分布資訊(inode...)等等。在集群檔案系統中，分布資訊包括檔案在磁碟上的位置以及磁碟在集群中的位置。使用者需要操作乙個檔案必須首先得到它的元資料，才能定位到檔案的位置並且得到檔案的內容或相關屬性。
元資料管理方式
元資料管理有兩種方式。集中式管理和分布式管理。集中式管理是指在系統中有乙個節點專門司職元資料管理，所有元資料都儲存在該節點的儲存裝置上。所有客戶端對檔案的請求前，都要先對該元資料管理器請求元資料。分布式管理是指將元資料存放在系統的任意節點並且能動態的遷移。對元資料管理的職責也分布到各個不同的節點上。大多數集群檔案系統都採用集中式的元資料管理。因為集中式管理實現簡單，一致性維護容易，在一定的操作頻繁度內可以提供較滿意的效能。缺點是單一失效點問題，若該伺服器失效，整個系統將無法正常工作。而且，當對元資料的操作過於頻繁時，集中的元資料管理成為整個系統的效能瓶頸。
分布式元資料管理的好處是解決了集中式管理的單一失效點問題， 而且效能不會隨著操作頻繁而出現瓶頸。其缺點是，實現複雜，一致性維護複雜，對效能有一定影響。
hadoop元資料管理機制
namenode職責 負責客戶端請求的響應 元資料的管理 查詢，修改 客戶端經常性的會有 查詢元資料的請求 和更新元資料的請求 namenode對資料的管理採用了三種儲存形式 記憶體元資料 namesystem 磁碟元資料映象檔案 fsimage 資料操作日誌檔案 可通過日誌運算出元資料edits ...
NameNode元資料管理機制
1.使用者上傳檔案的的過程 解析 使用者向nn申請上傳檔案 nn將分配的dn資訊記錄追加在edit.log的檔案中 nn將分配的dn資訊返回給客戶端 客戶端將檔案上傳到各個節點上 客戶端將上傳成功的資訊返回給nn節點，nn將edit.log檔案中的內容寫入記憶體中，一次上傳檔案的操作完成了 當edi...
HDFS及NameNode元資料管理機制細節
namenode是 整個檔案系統的管理節點。它維護著整個檔案系統的檔案目錄樹，檔案 目錄的元資訊和每個檔案對應的資料塊列表。接收使用者的操作請求。檔案包括 fsimage 元資料映象檔案。儲存某一時段namenode記憶體元資料資訊。edits 操作日誌檔案。fstime 儲存最近一次checkpo...