把100PB資料遷移到阿里雲,需要幾步?

2021-08-20 16:30:37 字數 1850 閱讀 2663

把大象關進冰箱,需要幾步?三步。

第一步,開啟冰箱門

第二步,把大象放進冰箱

第三步,關上冰箱門

把100pb 115科技的資料遷移到阿里雲,需要幾步?同樣是三步。

第一步,把資料拷入閃電立方

第二步,把閃電立方運送到阿里資料中心

第三步,把資料從閃電立方拷出來,齊活!

說起來很輕鬆

可是,您知道100pb的資料到底有多大嗎?

看看下面這張圖,您就明白了。

遷移100pb資料!這場網際網路史上最大規模的公共雲遷移,僅僅用45天就圓滿完成,不得不說幾乎是乙個奇蹟。

但看似簡單的背後,往往蘊含著極度的複雜。

這次115科技的資料遷移同樣如此。

100pb海量資料遷移,整體服務不停機,客戶無感知。

稍微想想,你就會明白要同時滿足這三個條件到底有多難。

但最大的挑戰,實際上來自於海量資料遷移。

將100pb資料遷移從115科技資料中心傳送至阿里雲資料中心,如果用普通辦公網路上傳,要2700多年才能傳完。即使採用較快的百兆網路傳輸,也至少需要300多年。所以,必須採用其他的方法,才能完成這看似無法完成的任務。

從實際的時間成本來看,這種離線的物理遷移看似原始其實卻非常高效,115科技的上雲時間從預計的4個月大幅縮短到了45天。

不過,大家都知道,僅僅遷移資料,並不是完整的雲遷移,只有把業務系統同時進行遷移,才能稱得上是雲遷移,同時,我們也知道,資料分為冷資料和熱資料,對於冷資料來說,使用閃電立方離線搬運,並不存在任何問題,不過對於業務系統以及與業務相關聯的熱資料,如何利用閃電立方來遷移這些業務系統和資料,又同時保證服務服務不停機、客戶無感知、資料一致的問題呢?阿里雲儲存資深技術總監陳弘介紹說,這就需要先在阿里雲搭建一套同樣的業務系統,然後對業務相關聯的熱資料進行類似於雙活熱備的資料遷移,最後再把變化的增量與通過閃電立方運送到阿里雲資料中心的資料進行同步,才能最終完成整個遷移過程。

而在整個遷移的過程中,需要前期做到詳細諮詢、精心規劃,中期做到按部就班、大膽心細,後期做到認真交接、嚴格驗收。當然,也需要閃電立方中強大的軟體工具的支援和協助以及合作夥伴的大力支援。

眼見為實,在上海雲棲大會上,阿里雲現場演示了閃電立方遷移115資料的過程:2tb資料的安全傳輸過程僅僅耗費了2分03秒,全場黑衣服墨鏡裝扮的保鏢,則象徵著阿里雲閃電立方在安全性方面的保障:每塊硬碟專項分離保護,專人專車的運輸。清楚的讓使用者感受到阿里雲離線傳輸的專業、高效、安全。

為了使得更多型別的使用者可以分享阿里雲閃電立方的技術紅利,阿里雲還推出了閃電立方mini版,可提供單台40tb的資料遷移能力,更值得稱道是閃電立方內建軟體的圖形化介面,引導式服務體驗,可以令沒有儲存專業知識的普通使用者也可以輕鬆上手,輕易完成以前複雜的資料遷移工作。而在這背後,是阿里雲研發人員付出的辛苦勞動,阿里雲儲存資深產品總監承宗坦言,將網際網路產品思維帶到企業級產品上,這本身就是對阿里雲研發人員的很大的挑戰,而真正讓網際網路產品的體驗體現在企業級產品上,就是更大的挑戰了,感謝阿里雲研發人員的艱苦努力,最終為使用者提供了這樣乙個簡單易用的資料遷移解決方案。

在資料安全方面,閃電立方mini版同樣提供端到端的資料加密服務和資料一致性校驗。不同的是,閃電立方mini版可以自行部署,再由專業的物流運輸至阿里雲的資料中心,實現離線資料的快速上雲。

更好的訊息是,阿里雲閃電立方採用的是租用模式,不需要花費大價錢去購買硬體,計費完全由使用閃電立方的時間而確定,這對資金並不寬裕的中小企業來說,真的是乙個福音。

其實,阿里雲在企業級儲存市場布局已久,憑藉多層次防護、跨region容災等能力已經連續2年入選gartner全球雲儲存魔力象限,處於全球前四的領導者地位。

此前,阿里雲還曾幫助中石化、中國郵政、中國南方電網、飛利浦等多家企業實施上雲遷移,並提供雲化戰略諮詢、雲上應用架構優化等服務,115科技上雲也讓阿里雲成為國內唯一擁有百pb級別遷移經驗的雲服務廠商。

如何把SVN遷移到Gitlab

把svn上的 倉庫遷移到gitlab上,實際上就是把svn倉庫轉變成git倉庫,並且希望能保留原svn倉庫的commit等歷史記錄,這一點很重要。svn遷移到gitlab需要安裝git svn yum install y git svn保留原svn倉庫的commit等歷史記錄,需要獲取到svn使用的...

如何把單庫資料遷移到分庫分表?

面試官 如何把單個資料庫的資料遷移到分庫分表裡面?面試官心理剖析 主要是看你在生產環境弄過?沒弄過的話看你有沒有思考過這個問題?因為在做分庫分表的時候肯定會遇到這個問題。回答 假設你的分庫分表中介軟體已經選好了,分庫分表的資料庫都已經建好了。分庫分表的功能也都已經測試通過了,可以上線了。資料遷移的系...

Mysql資料遷移到TIDB詳解

我從業16年來,使用了太多的資料庫 rdbms nosql newsql 首先我說一下資料庫的變遷和發展歷史 以 mysql 為例剛開始時,它是乙個單機模式,但是隨著資料庫的資料量的增加及使用者對效能要求的提高,它的儲存容量和效能都遇到了瓶頸。這些需求催生了新的解決方案,那就是 mysql 主從模式...