客戶端經常性的會有 查
詢元資料的請求 和更新元資料的請求
namenode對資料
的管理採用了三種儲存形式：
記憶體元資料(namesystem)
磁碟元資料映象檔案（fsimage）
資料操作日誌檔案（可通過日誌運算出元資料edits）
secondary namenode 主要對image映象檔案的管理
1.當有元資料有更新請求的時候，首先會更新到記憶體當中，
2.同時會記錄操作日誌edits，
3.checkpiont 觸發條件：定時 或者是edits中的記錄數量（預設情況下30分鐘）
4.namenode檢查觸發條件，當滿足條件，會向secondarynamenode做出請求
5 edits.inprogress會立馬滾動一次，將正在寫的資料生成為舊的edits
7，將fsimage和edits合併成為乙個新的檔案fsimage.chkpoint
8，把生成的新的檔案請求上傳到namenode,nomenode會對其進行重新命名，然後將本地fsimage進行覆蓋
元資料管理
大資料倉儲越來越重視元資料的管理，但是元資料怎麼管理，還處於探索階段。這樣帶來的弊端顯而易見，就是1 及時性達不到，2 準確性達不到，3 同步性也達不到。它只是結項的必交的文件而已。二 越來越多的角色的人使用數倉，迫切需要乙個介面展示具體指的意思，業務統計口徑等，用乙個web介面展示，但是後端還是e...
元資料管理
元資料管理的核心功能如下 在操作方式上分為自動採集和手動採集兩種 同時，提供採集日誌資訊的檢視，檢查採集是否成功。檢視採集日誌可以查詢到採集任務的如下資訊 開始時間 任務狀態 結束時間 過程日誌，採集的數量等等。元資料採集完成後，儲存在資料庫中，支撐包括元資料統計 查詢 血緣分析 影響性分析 資料資...
HDFS元資料管理
hdfs的目錄結構，包含哪些資料夾子資料夾，以及資料夾下面包含哪些檔案，以及每個檔案的block資訊 id,副本係數，block存放在那個datanode上 元資料存放在 name路徑下。在namenode的記憶體中有乙個樹形結構，存放的就是元資料資訊，對檔案的任何修改都在記憶體中有體現，但是如果機...