分布式檔案系統hdfs（hadoop distributed file system）
檔案系統結構
hdfs優勢：
hdfs自身的侷限性：
塊 chunk：
好處：hdfs兩大元件：名稱節點（namenode）和資料節點（datanode）
namenode：
整個hdfs集群的管家，儲存元資料，相當於資料目錄
元資料報含：
namenode包含兩個核心資料結構：
namenode運作方式：
secondary namenode
datanode：訪問實際資料
hdfs中資料以塊的方式冗餘儲存，一般冗餘因子是3，好處：
錯誤應對機制
namenode:冷備份，熱備份
datanode:心跳資訊探知是否出錯，冗餘恢復
資料：校驗碼檢測錯誤，冗餘恢復
3 1 分布式檔案系統
檔案系統 定義 一種儲存和組織計算機資料的方法，利用抽象的檔案和目錄代替了電腦硬碟或者光碟使用資料塊的概念 原理 檔案系統將硬碟空間以塊為單位進行劃分，每個檔案都佔據若干塊，然後通過乙個檔案控制塊 file control block 記錄每個檔案佔據的硬碟資料塊 單機式檔案系統 定義 將檔案存在本...
分布式計算（三）分布式的昨天
當今的我們已經處於計算機比較發達的時代，計算機的很多技術已經發展很久，很多我們現在使用的都是在一定基礎結構之上的研究，就好像我們學會了hadoop，webservices.學會了大資料計算，就是掌握了分布式技術嗎？感覺心慌 疑惑。這些疑惑不知道從什麼時候開始的，所以要想弄清是怎麼回事，還是回到遙遠的...
分布式學習筆記（三） 分布式選舉
在乙個分布式集群中負責對其他節點的協調和管理，其他節點都必須聽從主節點的安排。主節點的存在，就可以保證其他節點的有序執行，以及資料庫集群中的寫入資料在每個節點上的一致性。這裡的一致性是指，資料在每個集群節點中都是一樣的，不存在不同的情況。選舉的作用就是選出乙個主節點，由它來協調和管理其他節點，以保證...