向雲上遷移資料時如何避免停機和中斷

2021-09-22 22:00:16 字數 1763 閱讀 8005

摘要:越來越多的組織需要在資料中心/雲之間移動資料,但是在遷移過程中的乙個關鍵風險點是停機。

在2023年的業務持續性意識周這裡,我希望它能提供乙個新的機會,來回顧這一領域雲的一些侷限性。

根據451項研究的最新估計,大約60%的it工作負載將在明年以某種形式的公共或私有雲執行。it專案在關鍵領域的增長尤其強勁,包括資料分析和核心業務應用。idc、gartner和forrester的研究結果大致相同——雲正在迅速成為中心,而不是一般it**的外圍裝置。

難怪it領導們對資料遷移的風險以及相關的停機時間表示擔憂。現在,典型的資料量1000到100萬倍於10到20年前的普通企業資料庫的大小。這意味著與遷移相關的潛在停機時間將會增加很多倍。這已經不再是乙個15分鐘的時間了——這可能是幾個小時的停機時間,而資料問題需要被解決。

企業知道他們需要更多地利用雲,特別是做更有戰略性和聰明的事情:高速、高容量的資料處理,以支援實時決策和複雜的自動化。今天產生的資料量也使得建立二級資料中心成本高得令人望而卻步:進一步推動公司進入雲計算。

但從這裡到那裡的痛苦仍然讓人望而卻步。他們的資料在傳輸過程中可能會發生什麼,如果他們不能再獲得訪問,如果他們同時被其他地方使用,他們又怎麼能繼續使用實時資料呢?

延遲也是乙個問題。資料中心的建立非常接近於防止與網路傳輸相關的效能下降。但在雲計算中,物理伺服器場之間的距離並不在公司的控制範圍內,因此效能問題——可能會降低資料可用性和協調——是乙個重要的考慮因素。

在災難恢復場景中,對停機時間的擔憂也是有效的。當遠端資料中心被呼叫以使實時系統恢復執行並快速執行時,cio們就非常適合於擔心停機時間或資料丟失——例如,近距離和遠端系統之間的同步不足。

未來就是現在

無論是日常的後台系統,還是那些與人工智慧或物聯網相關的雄心勃勃的新專案,組織都需要能夠依賴於他們一直在處理的資料的可用性和完整性。

例如,對於無人駕駛汽車來說,所有各方(乘客、汽車製造商、保險公司和第三方服務提供商)都需要絕對保證,他們所連線的車輛儀器、感測器和基於雲的平台將能夠實時傳送、接收、解釋和處理資料。據估計,乙個擁有感測器、相機和雷射測量(雷射雷達測量)的無人駕駛汽車每秒可以產生100gb的資料。

使用不斷變化的資料集(不需要停機,也不中斷)提供乙個可行的服務的唯一方法是通過我們稱為活動資料複製的東西。這允許實時資料同時存在於多個地方,不存在不同步的風險,也不需要在每個端點更新時中斷。這種能力將使汽車製造商和服務夥伴能夠分析和響應實時資料,了解車輛的運**況,實時識別異常情況,並先發制人地確定需要採取哪些補救措施。

公司不需要向明星們尋求這樣的資料完整性挑戰。許多組織正在轉向基於hadoop的分析(一種以速度進行大規模資料處理的特殊方式),將大資料轉化為有意義的、可操作的日常活動。例如,許多企業使用hadoop來分析和響應twitter活動。但是,這通常意味著將資料放到雲中,在那裡,所需的處理能力很容易獲得。

除非他們正在處理歷史資料,否則公司將繼續需要訪問其核心業務系統中的資料——這些資料將繼續更新。在這種情況下,使用雲進行處理並不是簡單地將一批完整的資料傳送到目的地,而是在魔法發生後將其返回到目的地,並將其返回。

緊迫的暫停不是乙個選擇

同樣,避免停機和與資料移動相關的中斷的唯一方法是找到一種方法,在不同位置之間持續更新和同步資料。類似的谷歌通過精心製作的衛星裝置實現了這一點。但你也可以像我們一樣使用聰明的演算法。 

原文發布時間為:

2017-10-31

xiaoli110

如何向雲計算遷移

在企業裡,許多上雲遷移成功的案例,都是先從一些較為簡單的應用開始遷移,然後再一步步把更多的應用和資料遷移到雲,不可能同時把所有的應用都一下遷移過去。對於要遷移上雲的應用和資料,制定乙份詳細的計畫與時間表是必要的,遷移是乙個很複雜的過程,可以先從最簡單的應用開始,然後再考慮複雜的 關聯度比較高的業務,...

雲遷移過程如何避免停機

在公共雲遷移過程中,it團隊需要採取一種一步一隨的謹慎做法以避免發生可怕的 系統關閉 事件。隨著眾多企業遷移至基於雲的基礎設施,it團隊需要確保在遷移過程中的可用性。但是考慮到所涉及的複雜性,在雲遷移過程中防止或最小化停機時間並不容易。雲團隊需要考慮資料的不一致性 監控不同的軟體版本並檢查其網路連線...

分庫分表如何做到永久不遷移資料和避免熱點?

分庫分表如何做到永久不遷移資料和避免熱點?hash range方法結合。hash取模方法 資料分布均勻,不會有熱點問題 擴容複雜 range範圍方案 擴容方便 存在熱點問題 解決方案 hash range方法結合 group組的概念,group01組存如id在0 4000萬資料 group01有三個...