Hdfs的讀資料流程

2021-09-17 19:32:09 字數 326 閱讀 8337

2、那麼node檢查許可權,檢查時候有該檔案,通過機架感知和負載情況,返回比較合適的三個datanode給client,如果檔案有多個塊,乙個塊一組datanode。

3、client開啟乙個流,首先請求第乙個塊,首先請求第乙個節點,如果第乙個節點不可訪問,則請求第二個節點。

4、datanode返回相應資料,client將相應塊寫入檔案。

5、client請求第二塊的datanode。

6、資料響應。

7、客戶端關閉流。

HDFS讀資料流程

1 使用 hdfs 提供的客戶端 client,向遠端的 namenode 發起 rpc 請求 2 namenode 會視情況返回檔案的全部 block 列表,對於每個 block,namenode 都會返回有該 block 拷貝的 datanode 位址 3 客戶端client會選取離客戶端最近的...

hdfs讀資料流程

2,客戶端挑選一台datanode 按照就近原則,返回的塊位址根據網路拓撲圖排序,距離客戶端進的排在前面 伺服器,建立連線,請求讀取資料 如果dn異常,則從第二優先的dn讀取資料,並且標記該dn異常,後續讀取塊的資料直接跳過該dn。3,datanode開始傳輸資料給客戶端 從磁碟讀取資料輸入流,以p...

hdfs 寫資料 讀資料流程

客戶端 client 向namenode nn 請求上傳檔案 nn檢視目錄樹,檢查目錄是否存在 檔案是否存在 nn返回是否可以上傳 可以上傳 client告訴nn,要上傳資料塊1 block1 nn檢視datanode dn 資訊池,選出三颱dn 一般就近隨機一台 本機架一台 另乙個機架一台 cli...