Hadoop基礎 HDFS結構

2021-10-04 15:55:03 字數 828 閱讀 4384

1:簡述hdfs的特點以及優點缺點。

hdfs的優點

(1)支援超大檔案的儲存;

(2)支援流式檔案訪問。

(3)執行於廉價的商用機器集群。

hdfs的缺點

(1)不適合低延遲資料訪問;

(2)無法高效儲存大量小檔案;

(3)不支援多使用者寫入及任意修改檔案。

2:簡述namenode,datanode,secondary namenode之間的關係。

datanode根據namenode的指令建立、刪除和複製資料塊;

namenode需要保持檔案系統最新的元資料,secondarynamenode就是合併namenode的edit logs到fsimage檔案中。

secondary namenode所做的是在檔案系統中設定乙個檢查點來輔助namenode更好的工作。所以secondary namenode稱為檢查點節點。

3:簡述hdfs讀寫檔案的基本原理。

讀檔案:

1、客戶端向namenode發出寫檔案請求;

2、並通過namenode獲得組成該檔案的資料塊位置列表;

3、然後客戶端直接從這些datanode讀取檔案資料;

寫檔案:

1、向namenode傳送資料寫操作請求,包括檔名和目錄路徑等部分元資料資訊;

7、namenode告訴客戶機端到那個rack的哪個datanode進行具體的資料寫入;

8、客戶端直接將檔案資料傳輸給datanode。

ps:在讀寫過程中,namenode均不參加檔案的傳輸。

hadoop筆記一 簡介 HDFS的基礎

一 簡述 可靠性 可擴充套件 分布式計算框架 主要元件 hadoop common hadoop distributed file system hdfs hadoop yarn hadoop mapreduce 其他元件 hadoop ozone hadoop submarine a machin...

Hadoop離線基礎總結 HDFS詳細介紹

分布式檔案系統設計思路 為了解決資料丟失的問題,引入副本機制,保證資料不會丟失 如果對檔案進行切塊儲存,那麼元資料資訊又要繼續變化 blk元資料資訊的記錄 blk 00001 node01 node03 export servers blk 00001 blk 00002 node02 node01...

Hadoop之HDFS常用操作基礎練習(五)

詳細命令截圖 集群規劃 hadoop的高可用完全分布模式中有hdfs的主節點和資料節點 mapreduce的主節點和任務節點 資料同步通訊節點 主節點切換控制節點總共6類服務節點,其中 hdfs的主節點 mapreduce的主節點 主節點切換控制節點共用相同主機cgt 01和cgt 02,hdfs的...