**：
我們知道 hdfs 最早是根據 gfs（google file system）的**概念模型來設計實現的。
然後呢，我就去把 gfs 的原始**找出來仔細看了遍，gfs 的整體架構圖如下：
hdfs 參照了它所以大部分架構設計概念是類似的，比如 hdfs namenode 相當於 gfs master，hdfs datanode 相當於 gfs chunkserver。
但還有些細節不同的地方，所以本文主要分析下不同的地方。
hdfs 在考慮寫入模型時做了乙個簡化，就是同一時刻只允許乙個寫入者或追加者。
在這個模型下同乙個檔案同乙個時刻只允許乙個客戶端寫入或追加。
而 gfs 則允許同一時刻多個客戶端併發寫入或追加同一檔案。
允許併發寫入帶來了更複雜的一致性問題。
多個客戶端併發寫入時，它們之間的順序是無法保證的，同乙個客戶端連續追加成功的多個記錄也可能被打斷。
這意味著乙個客戶端在連續寫入檔案資料時，它的資料最終在檔案中的分布可能是不連續的。
所謂一致性就是，對同乙個檔案，所有的客戶端看到的資料是一致的，不管它們是從哪個副本讀取的。
如果允許多個客戶端同時寫乙個檔案，怎麼保證寫入資料在多個副本間一致？
我們前面講 hdfs 時它只允許乙個寫入者按流水線方式寫入多個副本，寫入順序一致，寫入完成後資料將保持最終一致。
而對多個客戶端而言，就必須讓所有同時寫入的客戶端按同一種流水線方式去寫入，才可能保證寫入順序一致。
這個寫入流程我們下一節詳細分析。
gfs 使用租約機制來保障在跨多個副本的資料寫入中保持順序一致性。
gfs master 將 chunk 租約發放給其中乙個副本，這個副本我們就稱為主副本，其他副本稱為次副本。
由主副本來確定乙個針對該 chunk 的寫入順序，次副本則遵守這個順序，這樣就保障了全域性順序一致性。
chunk 租約機制的設計主要是為了減輕 master 的負擔，由主副本所在的 chunkserver 來承擔流水線順序的安排。
如下圖，我們詳細描述下這個過程。
客戶端請求 master 詢問哪個 chunkserver 持有租約以及其他副本的位置。
如果沒有 chunkserver 持有租約，說明該 chunk 最近沒有寫操作。
master 則選擇將租約授權給其中一台 chunkserver。
master 返回客戶端主副本和次副本的位置資訊。
客戶端快取這些資訊以備將來使用。
客戶端以後不再需要聯絡 master，除非主副本所在 chunkserver 不可用或返回租約過期了。
客戶端選擇最優的網路順序推送資料，chunkserver 將資料先快取在內部的 lru 快取中。
gfs 中採用資料流和控制流分離的方法，從而能夠基於網路拓撲結構更好地排程資料流的傳輸。
一旦所有的副本確認收到了資料，客戶端將傳送乙個寫請求控制命令到主副本。
由主副本分配連續的序列號來確定最終的寫入順序。
主副本**寫請求到所有次副本，次副本按主副本安排的順序執行寫入操作。
次副本寫完後向主副本應答確認操作完成。
最後主副本應答客戶端，若任意副本寫入過程中出現錯誤，將報告給客戶端，由客戶端發起重試。
gfs 和 hdfs 的寫入流程都採用了流水線方式，但 hdfs 沒有分離資料流和控制流。
hdfs 的資料流水線寫入在網路上的傳輸順序與最終寫入檔案的順序一致。
而 gfs 資料在網路上的傳輸順序與最終寫入檔案的順序可能不一致。
gfs 在支援併發寫入和優化網路資料傳輸方面做出了最佳的折衷。
gfs 的**發表於 2003 年，後來大部分的分布式檔案系統設計實現或多或少都參考了 gfs 的設計思路。
而 hdfs 算是開源分布式檔案系統中最完整實現了 gfs **中的概念模型。
但 hdfs 依然簡化了 gfs 中關於併發寫的思路，本文就兩者的寫入模型和過程做了一些對比說明，並希望引發一些思考。
[1] sanjay ghemawat, howard gobioff, and shun-tak leung. the google file system
[2] hadoop documentation. hdfs architecture.
[3] robert chansler, hairong kuang, sanjay radia, konstantin shvachko, and suresh srinivas. the hadoop distributed file system
[4] tom white. hadoop: the definitive guide. o』reilly media(2012-05), pp 94-96
[5] yongjun zhang. understanding hdfs recovery processes
分布式儲存 HDFS原理
短時間內快速產生的海量的多種多樣的有價值的資料。1 分布式儲存 2 分布式計算 1 分布式批處理 當資料積累一定的時間後 假設乙個月 進行統一的處理。2 分布式流處理分布式流處理是乙個實時的處理。即資料生成後立即處理。3 機器學習 凡是 類的都是機器學習。分布式儲存 系統學習分布式儲存 過程 hdf...
HDFS 分布式儲存基石
hdfs是hadoop 分布式檔案系統。namenode與datanode 集群結構 hdfs讀取寫入過程 通過網路拓撲圖判斷距離 namenode深入 作用 儲存結構 啟動過程 開啟安全模式 不能執行資料修改操作 載入fsimage 逐個執行所有edits檔案中的每一條操作將操作合併到fsimag...
HDFS分布式儲存及特點
hdfs是hadoop應用程式使用的主要分布式儲存，主要被設計在商用硬體上執行，也就是說，他必須滿足低成本 高容錯 高吞吐的特性才能在眾多的分布式儲存系統中脫穎而出。hdfs具有主從架構，由檔案系統元資料管理namenode和實際資料儲存datanode組成。乙個hdfs集群只有乙個namenode...