1.hdfs是乙個主從架構，namenode是老大，secondarynamenode是老二，老大掛了，老二會直接頂上去
2.rack機架
下面這個圖就是rack機架，用來放伺服器的，每台機架上可以放置多台伺服器
下面我們看下hdfs架構圖
主要作用：管理檔案系統的命名空間
主要儲存：檔案系統的命名空間,包含：
a.檔名稱
b.檔案目錄結構
c.檔案的屬性（例如 許可權，建立時間，副本數）
d.檔案哪些塊（副本塊），以及塊對應哪些dn節點上；不會持久化這個map對映關係，一般是集群啟動和執行時，dn定期傳送給blockreport 給nn，那麼nn就在記憶體中動態維護對映關係
主要作用：讀寫檔案的資料塊
主要儲存：資料塊、資料塊校驗
與nn通訊：
a.每隔3秒發一次心跳包給 nn（如下圖）
高可用的時候處於standby
主要作用：定期合併nn節點上的fsimage+editlog為新的fsimage，然後推送給nn
，也稱之為檢查點 checkpoint
觸發條件（滿足下面乙個條件就會觸發）：
1）每隔1小時
2）每100萬次操作動作
假設nn有如下的edits和fsimage
edits_0000000000000000557-0000000000000000558
edits_0000000000000000559-0000000000000000560
edits_inprogress_0000000000000000561
fsimage_0000000000000000558
fsimage_0000000000000000558.md5
然後nn下面的edits和fsimage就變成了
第乙個副本：
如果提交節點為dn，那麼直接自己寫乙份，否則隨機挑選乙個cpu不太慢，不太忙的節點上
第二個副本：
放置於與第乙個副本不同機架的幾點上
第三個副本：
放置於與第二個副本同機架不同的節點上
生產上，考慮把副本數設定為2 的情況：
1.儲存空間不夠
2.資料兩增長太快
對於歷史資料可以遷移到阿里雲的oos進行儲存
到時候訪問可以通過 hdfs dfs -ls oos://hadoop001:9000/
Hadoop學習之HDFS架構 二
hdfs可以跨越大集群中的機器可靠地儲存非常大的檔案，將檔案儲存為一系列的塊，除了最後乙個塊外，所有的塊的大小都是相同的。當然若檔案大小正好為塊大小的倍數則所有塊的大小相同。為了容錯的目的，乙個檔案的塊會被複製成若干份，塊大小和複製因子是可配置的。應用程式可以指定檔案的副本數量，複製因子可以在檔案建...
HDFS架構簡述
hdfs架構簡述 一 hdfs簡介 hdfs hadoop distributed file system hadoop分布式檔案系統。是基於流資料模式訪問和處理超大檔案的需要而開發的，可以執行於廉價的伺服器上。它所具有的高容錯，高可靠性，高可擴充套件性，高獲得性，高吞吐率等特徵為海量資料提供了不怕...
HDFS架構概述 二
因為在複習的時候發現有很多的東西時沒有寫到部落格當中的，所以在這裡就補充一下希望大家多提出一些意見，謝謝大家 hdfs的侷限性 1 低延時資料訪問，在使用者互動性的應用中，應用需要在ms或者幾個s的時間內得到回應。由於hdfs未高吞吐率做了設計，也因此犧牲了快速響應，對於低延時的用用，可以考慮使用h...