日誌型別資料 爬蟲型別的資料 關係型資料庫的資料
統計分析 畫像分析（打標籤） 資料推薦
namenode管理者儲存在檔案系統上檔案的元資料，在做畫像分析的時候，由於頻繁訪問namnode讀寫資料，導致namenode掛掉了，怎麼辦？？？？
管理子節點
子節點在啟動的時候，也去找standby的namenode
相應請求
**方式，類似於修改網域名稱對映
管理元資料
讀取fsimage
映象檔案
載入edits檔案
編輯日誌檔案
click訪問
上傳，刪除，重新命名等修改操作
-記憶體裡面記錄
-新的編輯日誌
cloudera公司提出來
將 編輯日誌（edits）分布式儲存（2n+1）進行管理
active ->journalnode
standby
對機器沒有什麼要求
選擇乙個超級好，配置超級穩定的伺服器，用來儲存 編輯日誌
active -> write
standby
對機器有要求
hadoop 2.x只能有2個，
active namenode:活動，對外提供服務
standby namenode：等待，時刻準備接替active namenode的工作
儲存資料，需要向namenode進行註冊，匯報和傳送心跳，
只能接收activenamnode給的命令
分布式儲存 編輯日誌
個數和zookeeper的個數一樣，必須是奇數個
大資料零基礎學習框架Hadoop HDFS
hadoop檔案系統使用分布式檔案系統設計開發。它是執行在普通硬體。不像其他的分布式系統，hdfs是高度容錯以及使用低成本的硬體設計。hdfs擁有超大型的資料量，並提供更輕鬆地訪問。為了儲存這些龐大的資料，這些檔案都儲存在多台機器。這些檔案都儲存以冗餘的方式來拯救系統免受可能的資料損失，在發生故障時...
大資料之hadoop hdfs知識通俗詳解
目錄疑問 儲存模型 重要 架構設計 角色功能 namenode datanode 元資料持久化 安全模式 hdfs中的snn secondarynamenode snn block的副本放置策略 hdfs寫流程 hdfs讀流程 總結 分布式檔案系統那麼多，為什麼hadoop專案中還要開發乙個hdfs...
大資料入門 2 Hadoop HDFS詳解1
以前64m，現在128m 容量規格 也可dfs.blocksize 128m調整為256m，基於生產環境決定。hdfs 適應場景 大檔案儲存，小檔案是致命的 生產上 1.小檔案閾值，自己去看一下，取個中間值。2.如何合併小檔案 資料未落地到hdfs之前合併，資料已經落到hdfs，spark serv...