namenode(名稱節點，簡稱nn)作用：
檔案系統命名空間，維護檔案系統目錄樹
儲存檔名稱，
檔案目錄結構，
檔案屬性（許可權，大小，建立時間，副本數及大小…）,
檔案對應的資料塊及這些塊所對應的資料節點，我們稱為blockmap，這種對映關係儲存在nn中，但是並不會持久化這種關係，這個對映關係由dn在啟動的時候上報給nn。
以上關係由fsimage+editslog來儲存。
datanode(資料節點，簡稱dn)作用：
儲存資料塊及塊校驗（為了防止塊損壞帶來的資料讀取錯誤）
每隔3秒與nn通訊並傳送乙個心跳包；每10個心跳包向nn上報blockreport
secondarynamenode（輔助名稱節點，簡稱snn）：
儲存fsimage，editslog；
定期合併fsimage+editslog，合併時機由檢查點（checkpoint）決定，檢查點由dfs.namenode.checkpoint.period 引數定義，預設3600秒。
snn每隔乙個小時從nn上備份fsimage下來
fsimage 映象檔案，系統映象檔案，系統全量檔案
editslog操作日誌，讀寫記錄操作，系統增量檔案
客戶端向dn寫資料，如果副本數是3，客戶端只需要寫入1分資料，然後拷貝。
**：
大資料學習 之MapReduce Job
1 先把yarn服務停了 hadoop hadoop001 hadoop 2.6.0 cdh5.7.0 sbin stop yarn.sh 2 把之前的資訊刪了 hadoop hadoop001 hadoop 2.6.0 cdh5.7.0 hdfs dfs rm r f user 3 再建立hdfs...
大資料學習之Hive
建立乙個自定義列表 如何建立乙個註腳 注釋也是必不可少的 katex數學公式 新的甘特圖功能，豐富你的文章 uml 圖表 flowchart流程圖 匯出與匯入 1 hive處理的資料儲存在hdfs 2 hive分析資料底層的實現是mapreduce 3 執行程式執行在yarn上 hive的優缺點 帶...
大資料學習之Scala陣列和集合學習38
1 陣列定義 陣列定義1 var arr new array string 3 string 儲存的元素型別 3 儲存 3個元素 新增元素 arr 1 dawn 陣列定義2 val arr1 array int 1,2,3,4,5,6 改變內容 arr1 1 20 新增元素 arr1 18長度不可以...