hdfs組成
1)namenode 元資料
2)datanode 儲存檔案內容block
3)secondarynamenode 合併namenode與edits
hdfs儲存資料單元
1)檔案被切分成固定大小的資料塊
預設為64mb
若檔案不足64mb單獨存為乙個塊
2)乙個檔案的儲存方式
按大小被切分為若**lock，儲存到不同節點上
預設每個block有3個備份
3)block大小和副本數在上傳時決定
檔案上傳後副本數可變 但block大小不可變更
namenode
1)主要功能 接受客戶端的讀寫功能
2)儲存的metadate資訊
檔案所有者及許可權資訊
檔案包括哪些塊
block儲存在哪個datanode上(啟動時由datanode上報)
3)metadate資訊記錄在硬碟的fsimage檔案中
block資訊不儲存在fsimage
edits檔案記錄對metadate的操作日誌
secondarynamenode
執行合併的時機
根據配置檔案設定的時間間隔 預設3600s
根據配置檔案設定的edits log檔案大小 預設64mb
datanode
儲存資料block
啟動時向nn報告block資訊
與nn保持心跳連線
block的副本存放策略
第乙個副本 放置在上傳檔案的dn上 如果是集群外提交按一定規則隨機放置
第二個副本 放置在與第乙個副本不同的機架上
第三個副本 與第二個副本在同一機架上
更多副本 隨機節點
hdfs檔案許可權
與linux類似 rwx
hdfs安全模式
1)namenode啟動時 首先將映像檔案fsimage載入記憶體,並執行編輯日誌edits中的各項操作
2)在記憶體成功建立檔案系統元資料對映後 建立乙個新的fsimage檔案和乙個空的edits檔案
3)此時namenode執行在安全模式。即namenode的檔案系統對客戶端來說是唯讀的。不可讀寫重新命名等
4)在此階段namenode收集各個datanode的報告，獲取block情報。當資料塊達到最小副本數以上時，會
被認為是安全的，在一定比例的資料塊被確認安全後，再過若干時間，安全模式結束
5)當檢測到副本數不足的資料塊時，該塊會被複製達到最小副本數
系統中的資料塊位置不是有namenode維護的，而是儲存在datanode的塊列表中
hadoop HDFS 檔案系統
儲存極大數目的資訊 terabytes or petabytes 將資料儲存到大量的節點當中。支援很大單個檔案。提供資料的高可靠性，單個或者多個節點不工作，對系統不會造成任何影響，資料仍然可用。提供對這些資訊的快速訪問，並提供可擴充套件的方式。能夠通過簡單加入更多伺服器的方式就能夠服務更多客戶端。h...
資料庫系統構成
資料庫系統是由資料庫 軟體 硬體和使用者組成。而軟體由有資料庫管理系統dbms 作業系統os以及資料庫應用系統dbas組成 資料庫管理系統 操縱和管理資料庫的大型軟體，用於建立 使用和維護資料庫，進行統一的管理和控制以保證資料庫的安全性和完整性。資料庫應用系統 dbas 利用資料庫應用開發構成的系統...
後台管理系統架構成型
這段時間，集中精力突破後台管理系統的框架，希望能夠踩在前人的肩膀上前行。前面0.0.1版本的程式解決了物聯網採集通道以及使用者側裝置的協議 開發。之前用到的物聯網依賴的裝置資訊以及通道 協議資訊，是直接在資料庫裡面建立的表，現在需要面向使用者形成乙個帶介面的管理系統，以支援物聯網採集需要的裝置資訊。...