HDFS 資料移動API Rename說明

2021-08-30 02:48:23 字數 648 閱讀 9632

rename介面的原子性依賴於底層檔案系統的實現,如下圖所示:

分布式檔案系統distributedfilesystem,保證了rename介面的原子性,即一次資料移動操作是原子性的;

從測試結果來看,rename的實現並沒有支援正則。測試過程如下:

移動前資料源目錄和目的目錄詳情如下:

執行測試**,如下所示:

檢視執行結果,源目錄和目的目錄的資料保持不變,結果如下:

(源/目的)目錄或檔案不存在;

乙個是檔案,另乙個是目錄;

沒有許可權;

如果被移動的檔案處於開啟狀態,會出現什麼情況,介面沒有給出明確的規範,具體行為由根據具體的檔案系統實現決定;

官網說明:

獲取hdfs (大資料)HDFS

hdfs 是 hadoop 的分布式檔案系統,主要用於離線的大檔案資料資料儲存。hdfs 架構 hdfs 其實與作業系統的檔案系統類似,hdfs 主要有兩種角色,乙個是 namenode 檔案索引 另乙個是 datanode 儲存資料 namenode 主要負責記錄乙個檔案的儲存元資料 例如 檔名 ...

HDFS元資料

從形式上講,元資料可分為記憶體元資料和元資料檔案兩種。其中namenode在記憶體中維護整個檔案系統的元資料映象,用於hdfs的管理 元資料檔案則用於持久化儲存。從型別上講,元資料有三類重要資訊 第一類是檔案和目錄自身的屬性資訊,例如檔名 目錄名 父目錄資訊 檔案大小 建立時間 修改時間等。第二類記...

HDFS讀寫資料

一 檔案的開啟 1.1 客戶端 hdfs開啟乙個檔案,需要在客戶端呼叫distributedfilesystem.open path f,int buffersize 其實現為 public fsdatainputstream open path f,int buffersize throws io...