一.namenode，seconderynamenode，datanode
namenode，datanode，seconderynamenode都是程序，執行在節點上。
1.namenode：hadoop的主節點， 儲存hdfs的元資料資訊
1.fsimage - 它是在namenode啟動時對整個檔案系統的快照
2.edit logs - 它是在namenode啟動後，對檔案系統的改動序列
2.seconderynamenode： 職責是合併namenode的edit logs到fsimage檔案中，幫助namenode
3.datanode： 響應來自 hdfs 客戶機的讀寫請求。它們還響應來自 namenode 的建立、刪除和複製塊的命令。namenode 依賴來自每個 datanode 的定期心跳（heartbeat）訊息。每條訊息都包含乙個塊報告，namenode 可以根據這個報告驗證塊對映和其他檔案系統元資料。如果 datanode 不能傳送心跳訊息，namenode 將採取修復措施，重新複製在該節點上丟失的塊。
一.hdfs相關概念
1.hdfs： hadoop分布式檔案系統（hadoop distributed file system）
2.資料塊：儲存時為了方便傳輸和提高容錯率，把檔案分為多個資料塊，hadoop1.x 是64m,hadoop2.x 是128m
3.複製因子：hdfs檔案會在多個節點進行備份，預設數量為3（現在配置的是偽分布式，只有乙個）
在hdfs-site.xml 中配置
dfs.replication
14.fsimage檔案： fsimage檔案是hdfs中名字節點namenode上檔案/目錄元資料在特定某一時刻的持久化儲存檔案。
5.edits檔案： 操作日誌檔案，由namenode或者seconderynamenode讀取對fsimage檔案進行更改
6.安全模式： 安全模式是hadoop的一種保護機制，用於保證集群中的資料塊的安全性。
當集群啟動的時候，會首先進入安全模式。當系統處於安全模式時會檢查資料塊的完整性。
這時，不允許客戶端進行任何修改檔案的操作,包括上傳檔案，刪除檔案，重新命名，建立資料夾等操作。
正常情況下，安全模式會執行一段時間自動退出的，只需要我們稍等一會就行了，到底等多長時間呢，我們可以通過50070埠檢視安全模式退出的剩餘時間
三.常見hdfs shell命令
1.檢視目錄 hadoop fs -ls hdfs目錄(根目錄為 /)
2.建立目錄 hadoop fs -mkdir -p hdfs路徑 （-p是可以建立多級目錄）
3.刪除目錄 hadoop fs -rmdir hdfs目錄 （只能刪除空目錄）
4.刪除檔案 hadoop fs -rm -r hdfs路徑 （加-r可迴圈刪除非空目錄）
5.上傳檔案 hadoop fs -put 檔案在本機的路徑 hdfs路徑
7.檢視檔案 hadoop fs -cat 檔案在hdfs的路徑
8.檢視健康模式 hdfs dfsadmin -safemode get
Hadoop學習 三 Hadoop入門知識
hadoop主要由namenode和datanode組成。客戶機通過與namenode和datanode的互動訪問檔案系統。對namenode的容錯非常重要。hadoop集群的配置 設定好三颱虛擬機器，分別是node1,node2和node3。設定node1為namenode,在node1的core...
hadoop基本學習三
hadoop基本操作學習三 進入hadoop home目錄。執行sh bin start all.sh 進入hadoop home目錄。執行sh bin stop all.sh hadoop使用的是hdfs，能夠實現的功能和我們使用的磁碟系統類似。並且支援萬用字元，如 檢視hdfs中 user ad...
hadoop 三 hdfs 機架感知
client 向 active nn 傳送寫請求時，nn為這些資料分配dn位址，hdfs檔案塊副本的放置對於系統整體的可靠性和效能有關鍵性影響。乙個簡單但非優化的副本放置策略是，把副 本分別放在不同機架，甚至不同idc，這樣可以防止整個機架 甚至整個idc崩潰帶來的錯誤，但是這樣檔案寫必須在多個機架...