HDFS快照snapshot功能

2022-07-07 00:42:12 字數 1389 閱讀 2121

hdfs 快照是檔案系統的唯讀時間點副本。可以在檔案系統或整個檔案系統的子樹上拍攝快照。快照的一些常見用例是資料備份、防止使用者錯誤和災難恢復。

hdfs 快照的實現是有效的:

一旦目錄被設定為 snapshotable,就可以在任何目錄上拍攝快照。乙個快照目錄可以同時容納65,536個快照。快照目錄的數量是沒有限制的。管理員可以將任何目錄設定為快照。如果 snapshottable 目錄中有快照,則在刪除所有快照之前,既不能刪除也不能重新命名該目錄。

當前不允許巢狀的快照目錄。換句話說,如果乙個目錄的乙個祖先/後代是乙個 snapshotable 目錄,則不能將該目錄設定為 snapshotable。

對於乙個快照目錄,path 元件「.snapshot」 用於訪問其快照。假設/foo 是乙個 snapshottable 目錄,/foo/bar 是/foo 中的乙個檔案/目錄,而/foo 有乙個 snapshot s0。然後/foo/.snapshot/s0/bar指的是/foo/bar 的 snapshot 副本。通常的 api 和 cli 可以使用 「.snapshot」路徑。以下是一些例子。

本節中描述的操作需要超級使用者許可權。

允許快照

允許建立目錄的快照。如果操作成功完成,該目錄將變為可快照目錄。

禁止快照

禁止建立目錄的快照。在禁止快照之前,必須刪除該目錄的所有快照。

本節描述使用者操作。請注意,hdfs 超級使用者可以執行所有操作,而不需要滿足單個操作中的許可權要求。

建立快照

建立快照目錄的快照。這個操作需要快照目錄的所有者許可權。

刪除快照

從 snapshottable 目錄中刪除快照。這個操作需要 snapshottable 目錄的所有者許可權。

重新命名快照

重新命名乙個快照。這個操作需要 snapshotable 目錄的所有者許可權。

獲取 snapshotable 目錄列表

獲取當前使用者有權使用 snapshtos 的所有 snapshotable 目錄。

獲取快照差異報告

獲取兩個快照之間的差異。此操作要求對兩個快照中的所有檔案/目錄具有讀訪問許可權。

rename 條目表示檔案/目錄已被重新命名,但仍然位於相同的 snapshotable 目錄下。如果檔案/目錄被重新命名為 snapshottble 目錄外部,則報告該檔案/目錄已被刪除。從 snapshottble 目錄外部重新命名的檔案/目錄被報告為新建立的檔案/目錄。

快照差異報告不保證相同的操作順序。例如,如果我們將目錄「/foo」重新命名為「/foo2」,然後將新資料附加到檔案「/foo2/bar」,差異報告將是:

r. /foo -> /foo2

m. /foo/bar

也就是說,在重新命名(上面示例中的「/foo/bar」)之前,使用原始路徑報告重新命名目錄下的檔案/目錄的更改。

HDFS 快照 了解

含義 快照不會複製所有檔案,而是記錄檔案變化 1 開啟指定目錄的快照功能 hdfs dfsadmin allowsnapshot 路徑 2 對目錄建立快照 hdfs dfs createsnapshot 路徑 3 指定名稱建立快照 hdfs dfs createsnapshot 路徑 名稱 4 重新...

如何將snapshot快照註冊成AMI映象

注 a ec2 register命令在amazon ami 中才有 opt aws 下 你也可以自己安裝 b n d a architecture 架構 c k 大寫k 指定pk xx.pem,c 大寫c 指定cert xx.pem d root device name dev sda1 指定根裝置...

HDFS建立快照備份資料

hdfs建立快照備份資料 在進一步分析hdfs內部的快照管理之前,需要先了解snapshot快照的概念.首先乙個很根本的原則 快照不是資料的簡單拷貝,只做差異的複製 這一原則在其他很多系統快照概念中都是遵守的,比如磁碟快照,也是不儲存真實資料的.因為不儲存實際的資料,所以快照的生成往往非常的迅速.在...