第三章 大資料學習之HDFS

2021-08-18 23:34:48 字數 638 閱讀 4141

目標:

相容廉價的硬體裝置

流資料讀寫

支援大資料集

簡單的檔案模型

強大的跨平台相容性

侷限性:

不適合低延遲資料訪問

無法高效儲存大量小檔案

不支援多使用者寫入及任意修改檔案

塊:預設大小64mb

名稱節點(namenode)

datanode

儲存元資料

儲存檔案內容

元資料儲存在記憶體中

檔案內容儲存在磁碟

儲存檔案,塊,datanode之間的對映關係

維護了塊id到datanode本地檔案的對映關係

namenode儲存了兩個核心的資料結構:fsimage和editlog

fsimage檔案包含檔案系統中所有目錄和檔案inode的序列化形式。每個inode是乙個檔案或目錄的元資料內部表示,幷包含此類資訊:檔案的複製等級、修改和訪問時間、訪問許可權、塊的大小以及組成檔案的塊。fsimage並沒有記錄塊儲存在哪個資料節點。而是由名稱節點把這些對映保留在記憶體中,當資料節點加入hdfs集群時,資料節點會把自己所包含的塊列表告知給名稱節點,此後會定期執行這種操作,以確保名稱節點的塊對映是最新的。

第二名稱節點1.0版本冷備份,2.0版本熱備份。

第三章 熟悉常用HDFS操作

1.在本地linux檔案系統的 home hadoop 目錄下建立乙個檔案txt,裡面可以隨意輸入一些單詞.2.在本地檢視檔案位置 ls 3.在本地顯示檔案內容 cd usr local hadoop touch test1.txt cat test1.txt 4.使用命令把本地檔案系統中的 txt...

OpenGl學習第三章

上個星期學習了下金字塔的繪製,然後這週有看了看正方體的繪製,通過依次繪製6個面來繪製正方體,整體 跟上次的金三角沒有區別,只是座標點,顏色,已經繪製的 有點區別,上 看看 這是座標 private static float cubevertexcoords new float new float n...

C Primer Plus 第三章 學習

oop的本質是設計並拓展自己的資料型別,即讓型別與資料匹配。c 內建的型別,分為兩組 基本型別,復合型別。基本型別 整數,浮點數 復合型別 陣列,字串,指標和結構。標識儲存的資料的方法 使用變數 3.1簡單變數 程式必須記錄三個基本屬性 1.資訊將儲存在 2.要儲存什麼值 3.儲存何種型別的資訊 宣...