09 HDFS主要流程之客戶端追加資料流程

2021-10-01 11:12:03 字數 358 閱讀 6152

客戶端除了可以執行寫入新的hdfs檔案操作外,還可以開啟乙個已有檔案並執行追加寫操作,下面是追加寫的幾個步驟

開啟已有的hdfs檔案

建立資料流管道

通過資料流管道寫入資料

成功地建立資料流管道後,hdfs客戶端就可以向資料流管道寫資料了,這部分內容與上篇寫hdfs檔案流程類似

關閉輸入流並提交檔案

與上篇寫hdfs檔案流程類似,當hdfs客戶端完成了追加寫操作後,需要呼叫close()方法關閉輸出流,並呼叫clientprotocol.complete()方法通知namenode提交這個檔案中的所有資料塊

可以看到,hdfs客戶端追加寫流程與寫流程是很類似的,只不過在初始建立資料流管道時有些不同

HDFS的資料流

1.客戶端通過distributed filesystem模組向namenode請求上傳檔案,namnode檢查目標未見是否已經存在,父目錄是否存在.2.namenode返回是否可以上傳 3.客戶端請求第乙個block上傳送到那幾個datanode伺服器上 4.namenode返回三個datanod...

hdfs 資料流(二)

大部分的hdfs程式對檔案操作需要的是一次寫多次讀取的操作模式。乙個檔案一旦建立 寫入 關閉之後就不需要修改了。這個假定簡單化了資料一致的問題和並使高吞吐量的資料訪問變得可能。1.讀檔案 從上圖可以看出,客戶端讀取資料時,首先從namenode獲取如下資訊 這些元資料資訊是在記憶體中,所以查詢速度很...

09 位元組流 字元流

位元組流 位元組流可以讀取任何檔案 outputstream 流物件必須傳入路徑,有 使用,無 建立 outputstream是乙個抽象類,無法直接使用 構造方法的作用 建立乙個流物件 將流物件指向建立好的檔案 流使用結束後要close,可以釋放記憶體 傳輸時是以位元組為基本單位,即乙個二進位制數 ...