HDFS兩大核心 檔案的讀和寫

2021-09-25 02:31:32 字數 625 閱讀 7719

①使用hdfs提供的客戶端client向遠端的namenode發起rpc請求。

②namenode接收到客戶端的請求後會檢查要建立的檔案是否存在,建立者是否有權進行操作,成功則有權操作,否則將會向客戶端報錯。

③客戶端真正的提交上傳檔案的請求,請求中包含乙個重要的資訊(就是檔案的大小,計算檔案需要切塊的個數)。

④namenode開始計算上傳檔案的個數(檔案總長度、128m=結果進行取整函式),然後獲取副本個數,返回給客戶端對應的節點。

⑤客戶端開始上傳檔案(客戶端先對檔案進行邏輯切分,為物理切分做準備)。

⑥上傳第乙個資料塊。

⑦客戶端構建第乙個資料塊上傳通道,同時客戶端開啟乙個守護程序等待上傳的結果反饋。構建pipline的過程為:客戶端---->第乙個副本節點---->第二個副本節點---->第三個副本節點 一次向前反饋結果。

⑧pipline構建完成開始第乙個資料塊的上傳,客戶端邊上傳邊切分,檔案上傳的時候以packet為單位(64kb)

⑨客戶端將檔案以packet為單位先傳給第乙個副本節點----->第二個副本節點。。。。。

⑩第乙個上傳完成後,開始第二個,重複上述上傳步驟。

⑪所有檔案上傳完成後,整個檔案就上傳成功了,向客戶端反饋結果,修改namenode的元資料。

HDFS的兩大核心和元資料合併

檔案上傳過程 寫 8.開始上傳第乙個資料塊 9.先構建第乙個資料塊上傳的通道pipline,客戶端 向節點發 構建通道的時候,客戶端啟動搞乙個阻塞程序,等待datanode的響應 10.開始第乙個資料塊的資料上傳 客戶端上傳到datanode01,先上傳到記憶體中,存在磁碟裡,datanode03向...

spring兩大核心 IOC和AOP之詳細學習

spring核心 ioc aop 1.ioc概念和原理 什麼是ioc 1 控制反轉,把物件的建立和物件之間的呼叫過程,交給spring來實現 2 使用ioc的目的 降低耦合度 2.ioc底層原理 2.1 ioc的發展歷程 1.最原始的方式 例如 userservice呼叫userdao的方法時,是在...

你踩到寫簡歷的兩大雷區嗎?

無中生有 有家世界500強公司進行校招時,收到了許多名校應屆生的簡歷。hr在進行第一輪簡歷篩選時就發現,來自同乙個學校同乙個班級的20幾份簡歷上都寫明自己是學生會幹部 班長副班長 難道這個班級人人都是班長?難不成這個學校的學生會幹部是批量生成的?幾年前一起企業高管偽造虛假學歷的案件就給我們敲起了警鐘...