hdfs的實現機制和檔案系統概念

2022-08-22 23:54:08 字數 655 閱讀 8223

1、hdfs的誕生背景:

資料量太大,在乙個結點(機器)存不下。所以需要分布式儲存,hdfs就是hadoop的分布式檔案系統,來儲存分布式資料。

2、共享檔案系統

也是一種分布式儲存

但有缺點:

1、併發差,比如10個客戶端併發去讀寫某個資源,就會存在負載問題。

2、可靠性差,如果某台計算機壞了,該台計算機上的共享資源就用不了了。

3、資源在各台計算機之間移動、調整比較麻煩。

3、hdfs能夠解決上述幾個缺點,它的優點:

1、容量可以線性擴充套件。

2、有副本機制,儲存可靠性高,吞吐量增大。

3、有了namenode後,客戶端訪問檔案就只需要制定hdfs上的路徑。

4、hdfs的實現機制:

1、檔案是被切塊儲存在多台伺服器上,儲存在各台伺服器的本地檔案系統中。

2、對於客戶端來說,不需要關心分布式的細節,因為hdfs提供了乙個抽象的統一的目錄樹。

3、每乙個檔案塊都可以儲存多個副本

4、hdfs中的檔案和具體實際儲存位置之間的對應關係交由乙個專門的伺服器來管理。

5、思考:如果namenode掛了怎麼辦?

HDFS檔案系統

hdfs 是 hadoop distribute file system 的簡稱,意為 hadoop 分布式檔案系統。是hadoop 核心元件之一,作為最底層分布式儲存服務而存在。分布式檔案系統解決的問題就是大資料儲存。它們是橫跨在多台計算機上的儲存系統。分布式檔案系統在大資料時代有著廣泛的應用前景...

HDFS檔案系統總結

hdfs預設快大小128m hdfs小於乙個塊大小的檔案不會佔據整個塊空間 對檔案系統塊檢查 hdfs fsck files blocks namenode管理檔案系統的命名空間,維護者檔案系統及整顆樹內所有檔案和目錄,這些資訊以兩個檔案形式永久儲存在本地磁碟上 命名空間映象檔案和編輯日誌檔案,也記...

Hadoop 檔案系統(HDFS)

磁碟傳輸速率100m s,定址時間10ms,讓定址時間是傳輸時間的1 所以塊的大小為 100 0.01s 100m s 100m 128m 在 hdfs default.xml 中搜尋dfs.blocksize,可以修改大小 檔案上傳 檢查檔案block的狀態 由上可見,狀態是健康的 啟動所有資料節...