一、hdfs的基本的概述
(1)、hdfs是hadoop的分布式檔案系統，也是hadoop的重要元件之一，每乙個事物都存在缺點和優點hdfs也不例外，具體的優點缺點如下。
(2)、hdfs的優點如下：
(a)、高容錯性，乙份資料在hdfs集群上由多個副本，即使其中某乙份資料丟失了，會通過自己的恢復機制從其他的資料副本恢復資料。
(b)、廉價，只需要普通的電腦就能搭建hdfs檔案系統，並且儲存容量可以動態的增加和減少。
(c)、資料的儲存規模大，適合對大量的資料進行儲存和分析。
(d)、適合一次寫入，多次讀取但是不支援資料的修改但是支援資料的追加。
(3)、hdfs的缺點如下：
(a)、響應比較慢，無法滿足毫秒級的響應需求。
(b)、不適合用於儲存大量的小檔案，因為大量的小檔案會大量占用nm的儲存空間，同時小檔案的定址時間大於資料的讀取時間這樣效率比較低。
(c)、不支援併發的的讀寫資料，這樣傳輸資料比較慢。
二、基本的架構
(1)、client其主要的職責如下
(2)、namenode主要的職責如下
(a)、負責資料塊對映資訊的管理，在上傳資料的時候給client返回可以上傳的資料節點，在需要獲取資料的時候返回資料所在的節點，其本身並不儲存資料。
(b)、副本資料的管理策略。
(c)、管理hdfs的命名空間
(3)、datanode的主要的職責如下
(a)、負責資料的儲存以及資料的讀寫。
(4)、secondarynamenode主要職責
(a)、是nm的乙個備用。
(b)、減去nm的負擔，對nm中的日誌以及映象檔案進行合併在把合併之後的資料發回到nm。
三、hdfs架構的示意圖
HDFS基本架構總結
hdfs為主 從架構，主要由管理檔案系統的namenode和儲存資料的datanode組成。namenode介紹及作用 datanode介紹及作用 secondarynamenode 副本存放策略 一般來說，資料是以block儲存在datanode節點上。假如說，在datanode節點上提交檔案，那...
HDFS的基本操作
mkdir 在hdfs建立目錄 hdfs dfs mkdir data ls 檢視當前目錄 hdfs dfs ls ls r 檢視目錄與子目錄 put 上傳乙個檔案 hdfs dfs put data.txt data input movefromlocal 上傳乙個檔案，會刪除本地檔案 ctrl ...
HDFS架構簡述
hdfs架構簡述 一 hdfs簡介 hdfs hadoop distributed file system hadoop分布式檔案系統。是基於流資料模式訪問和處理超大檔案的需要而開發的，可以執行於廉價的伺服器上。它所具有的高容錯，高可靠性，高可擴充套件性，高獲得性，高吞吐率等特徵為海量資料提供了不怕...