從Google備份網際網路看「資料安全」

2021-06-20 11:45:10 字數 1295 閱讀 3753

摘要:資料可以說是這個時代的「金礦」,不過其重要卻並不在於稀缺性。對於保證艾位元組級資料的安全性,正如作者所言,容量可擴充套件是必然要求,資料完整性和可用性是關鍵。各種極端情況發生時,保護好資料,企業才能生存。

【編者按】作者todd hoff是high scalability創始人,為我們解讀google資料保密和資料安全負責人raymond blum的演講。資料安全的乙個重要工作就是備份,備份的容量擴充套件、儲存備份的媒介、備份的效率......通過對網際網路中龐大資料多樣化、複雜的備份,使資料在任何情況下都能簡單地還原、恢復。資料安全不僅僅是乙個技術問題,它還受到現實的種種限制,做好資料安全,是任何乙個企業都要考慮的問題。

csdn推薦:歡迎免費訂閱《hadoop與大資料週刊》獲取更多hadoop技術文獻、大資料技術分析、企業實戰經驗,生態圈發展趨勢。

以下為譯文:

演講的一些主要議題:

無論組織大小,都有很多要學習的東西。blum先生的 演講很風趣、資訊量大、很值得一看。看起來他真的很喜歡工作中的挑戰。

以下是我對這個演講的注釋,從中我們可以了解到許多不為人知的秘密:

雖然磁帶庫的數量提高了乙個數量級,但參與其中的人並沒有隨之線性增長。

比如早期曾有人**,隨著**的增多,30%的美國人會被僱傭為**接線員。顯然他們沒預見到未來的自動接線。

人是無法看到這些的。也許有一天,你可能會問平均多少個磁帶損壞了。或如果磁帶破損率從每天100盒磁帶變成每天300盒磁帶時,就會發出警報。但在那之前不要問我:如果一天100盒磁帶損壞是不是在正常水平內?

gmail的資料量達exabyte級別。這意味著大量的磁帶。

100%恢復並不意味著可用性也是100%,資料恢復要過段時間才能正常使用。

一系列的bug和意外事件會產生在備份的過程中。即使是單元測試、系統測試和整合測試,對一些bug也是無能為力。

從磁帶中還原意味著大量的工作。還原時間和規模相關。還原gigabyte級資料可以在幾毫秒到幾秒時間內完成。還原200,000個收件箱中的幾個gig,每個都得花去不少時間。

把歐洲的幾個同事叫醒,因為他們剛休息完、很清醒。這就是分布式勞動力的優勢。

從許多磁帶還原和檢驗資料。不需要花幾個星期或幾個月時間,只需要花幾天的時間。這使他們很開心。在類似情況下的其他公司花了乙個月時間才意識到他們找不回資料了。需要採取一些措施以確保這個處理下一次更快。

乙個磁帶驅動器需要2個小時來讀。這些磁帶分布在各地。否則在還原過程中,任何單一地點都不會有足夠能力讀取還原過程中涉及的所有磁帶。

壓縮和校驗碼實際上不需要讀取200k磁帶。

還原過程自那時以來已大為改善。

從網際網路四大天王看網際網路發展

縱觀網際網路的發展歷史,我們發現網際網路也存在 四大天王 它們分別是電子郵件,ftp,bbs,網路遊戲,目前幾乎所有的網際網路應用都與這 四大天王 有關。研究它們將有利於我們理清網際網路的發展規律。一。討論網際網路 四大天王 的意義和啟發 1。網際網路 四大天王 是網際網路應用發展的基礎,其中bbs...

從網際網路四大天王看網際網路發展

縱觀網際網路的發展歷史,我們發現網際網路也存在 四大天王 它們分別是電子郵件,ftp,bbs,網路遊戲,目前幾乎所有的網際網路應用都與這 四大天王 有關。研究它們將有利於我們理清網際網路的發展規律。一。討論網際網路 四大天王 的意義和啟發 1。網際網路 四大天王 是網際網路應用發展的基礎,其中bbs...

從騰訊變革看網際網路之變

消費網際網路 到 產業網際網路 之變 連線不變,工具在變 但現在情況不一樣了,網際網路在覆蓋率上進入成熟期宣告了人口紅利的消退,這意味著從前依靠人口紅利所推動的消費網際網路,已經走到了乙個非常節點,穩定但遇到了天花板。從消費網際網路到產業網際網路,不論從服務物件,還是從服務內容來看,這種趨勢變化是異...