hadoop(三)進一步理解

2021-08-17 14:09:57 字數 1304 閱讀 5897

hdfs的實現思想:

1.hdfs是通過分布式集群來儲存檔案,吧檔案切分成block,存放在若干平台的datanode資料節點

2.hdfs檔案系統的檔案與block之間有對映關係,由namenode命名伺服器管理

3.每乙個block在集群中會存多個副本,好處是可以提高系統的可靠性,還可以提高系統的吞吐量

hadoop的map/reduce排程器,負責與tacktracker通訊分配計算任務並跟蹤任務進度

啟動和管理map和reduce子任務的節點

職責:1.維護元資料資訊

2.維護hdfs目錄樹

3.響應客戶端的請求

1、客戶端上傳檔案時,nn首先往edits log檔案中記錄元資料操作日誌

2、客戶端開始上傳檔案,完成後返回成功資訊給nn,nn就在記憶體中寫入這次上傳操作的新產生的元資料資訊

3、每當editslog寫滿時,需要將這一段時間的新的元資料刷到fsimage檔案中去

editslog與fsimage的合併是secondarynamenode去做的:

·fs.checkpoint.period 指定兩次checkpoint的最大時間間隔,預設3600秒。

·fs.checkpoint.size-規定edits檔案的最大值,一旦超過這個值則強制checkpoint,不管是否到達最大時間間隔。預設大小是64m。

提供真實檔案資料的儲存服務。

·檔案塊(block):最基本的儲存單位。對於檔案內容而言,乙個檔案的長度大小是size,那麼從檔案的0偏移開始,按照固定的大小,順序對檔案進行劃分並編號,劃分好的每乙個塊稱乙個block。hdfs預設block大小是128mb,以乙個256mb檔案,共有256/128=2個block.

dfs.block.size

·不同於普通檔案系統的是,hdfs中,如果乙個檔案小於乙個資料塊的大小,並不占用整個資料塊儲存空間replication。多複本。預設是三個。

hdfs-site.xml的cfs.replication屬性來定義block副本數,預設值3

bufferedReader進一步理解

public static void main string args string mystring system.out.println 請輸入明文 bufferedreader buf new bufferedreader new inputstreamreader system.in try...

進一步理解委託

前面一篇文章介紹了委託的基本知識,接下來就進一步研究一下委託。其實,剛開始覺得委託型別是乙個比較難理解的概念,怎麼也不覺得下面的 assembleiphonehandler 是乙個型別。public delegate void assembleiphonehandler 按照正常的情況,如果我們要建...

前端進一步理解

非常開心能夠在這裡作工作匯報和個人總結,這是我鼓起勇氣的結果,算是成功了一半,呵呵。從剛來公司茫然失措的菜蛋到現在稍顯成熟的菜鳥,我知道我離成功又進了一步。以下是我對前端的理解和對自己這段時間的總結 一 前端職責 前端開發是由網頁製作演變而來的,它的主要職能就是把 的介面更好地呈現給使用者,主要包括...