私有儲存雲如何構建?

2021-09-23 07:16:58 字數 4485 閱讀 4982

構建內部的雲儲存必須考慮到彈性、選擇正確的平台、支援工作流,以及批量部署和跟公有雲的整合。

隨著時間的推移,儲存即服務的交付進展驚人。如今,公有雲,如amazon web services和microsoft azure,都提供了內部以及外部連線的按需分配的物件儲存,以及塊和檔案儲存,用於內部分配給計算例項。這種運維的靈活性在資料中心裡很引人注意,比起傳統的儲存部署方式,它提供了更大的便捷性和敏捷性。

如何構建自己的私有儲存雲呢?我們首先退後一步,思考一下雲計算到底意味著什麼。雲標準定義包括如下特性:彈性,所消耗資源能夠自如擴充套件和收縮;作為服務交付,以抽象的形式(而不是在物理硬體上)定義的服務方案的標準集合;多租戶,支援多個客戶;請求資源的按需訪問,很少或者無需任何手動干預;以及報告和計費,基於使用量收費,並提供詳細的報告。

多租戶指的是安全和效能的隔離。安全確保資料在私有儲存雲的使用者之間不可見,而效能特性,如服務質量(qos)確保無論系統整體負載如何,每個使用者都能享受始終如一的服務級別。安全訪問保證客戶對資源的請求盡量不需要it——特別是儲存管理員,的干預。報告特性需要提供儲存使用率的更細粒度的度量,包括能夠生成某個團隊或者業務領域的報告。

建立彈性

私有儲存雲需要做的事情列表裡的第一條就是彈性,這裡有兩個場景:首先,客戶能夠按需擴充套件以及收縮使用量,其次,系統管理員能夠按需部署更多的基礎架構。但是如果終端使用者能夠輕易地歸還儲存的話,部署的一些硬體可能就不會被使用到,不過這種情況很少發生。

這裡的挑戰是通過在資料中心裡部署新硬體來持續滿足需求,並且同時在不影響應用程式可用性的情況下管理技術的更新週期。對於大多數it部門來說,達到新硬體正好及時的部署,這不僅是門藝術也是門科學——amaon和microsoft可能不一樣——大部分公司現金流和人力都有限。他們必須妥協,因為無法提供無限的資源,只能**什麼時候需要新增新硬體。

這也正是體現藝術的地方。**的需求要求業務線的參與,來計畫可能的未來專案及其儲存需求。如果it能夠洞察未來可能的儲存資源需求,那麼這些需求就能夠很容易地計畫出來——特別是如果是非核心產品的話,如物件或者高效能儲存。

科學性在於查清儲存增長的足夠資訊。很多it環境使用瘦預配,這意味著物理儲存能力會隨時間而增長,因為資料被寫入到分配的空間裡。並且因為計畫消耗的儲存的預留空間很少會被快速地全部使用掉(如,1tb的請求可能在第一天僅僅使用了50gb,之後可供三年使用),檔案系統和物件儲存的使用率就會隨著應用寫入更多資料而自然增長。這也使得必須有精確並且詳盡的工具來度量隨時間的儲存消耗,最好是每天,同時能夠使用這樣的資料生成有意義的增長**。

另外,決定什麼時候部署新硬體要求理解並且管理**商、硬體部署和配置事件。在企業裡,it仍然需要負責這些事情,當然如果你購買了公有雲儲存的話,這些都在雲服務**商(csp)的服務範圍內。

選擇平台

有正確的儲存平台是高效部署新硬體的關鍵。橫向擴充套件作為縱向擴充套件技術的乙個選擇,可以讓新的部署相對簡單,因為你只需要簡單地往已有配置上新增硬體來增加能力即可。

大多數現代的物件和塊擴充套件產品都能夠執行一定級別的重新平衡、重新分發資料,從而使用新增加的資源並且從硬體上獲得最佳的效能。單體增強的架構很難管理,因為可擴充套件性的限制,而舊的遺留儲存系統可能本身並沒有負載均衡,從而無法使用新硬體。這意味著必須要更加小心地對遺留架構進行負載均衡規劃,將邏輯資源分發到物理硬體之上。很多這些平台都提供了工具,可以在儲存平台內移動lun,減輕一些負載均衡問題。

為私有儲存雲選擇儲存平台時,多租戶和qos也是要考慮的核心特性。調研csp提供的服務矩陣,可以看到效能用iops和吞吐量衡量,也有一些提到了i/o延遲。無論csp是不是滿負載,這些都是必須提供給客戶的服務級別,這對於傳統的遺留儲存就無法保障了。因此qos就變得特別重要,要麼提供工具確保終端使用者得到所需的效能,要麼限制僅僅在新系統上才提供所購買的服務級別。

必需的api

最近幾年裡,儲存應用領域發生了一些管理上的改革。以前通過gui和命令列介面(cli)的互動來管理儲存,使用「提交」階段來實施變更。cli讓儲存管理員能夠進行指令碼化預配以及關閉流程,允許一定程度的自動化。但是,建立指令碼是一項費時的工作。這些年裡,**商改為使用api實現儲存的可程式設計化——通過授權api呼叫設定配置。配置資料現在也能夠輕鬆地提取出來,一些儲存平台可以生成很詳細的度量。

api

應用程式程式設計介面已經改變了企業儲存的管理方式。將來,api將會驅動自動化,並且移除大多數儲存預配的手動干預,從而讓私有雲儲存更為實用,推廣到更多企業中。

api還能夠帶來自動化,讓「人」不需要參與預配儲存流程。現在,可以通過一次或兩次api呼叫就可以將儲存對映到主機上。一些平台原生實現了api,而另一些圍繞已有的api工具構建了api封裝器。這裡的重要需求是確保api,cli和gui的操作更加和諧,而不用切換來切換去。

工作流問題

難題的最後一部分是,交付私有雲儲存就是執行一些工作流流程。使用者請求必須被驗證然後執行。公有雲通過使用者提供信用卡或者其他支付方式來實現驗證流程。這之後,可以通過web門戶或者api配置服務。在企業裡,請求儲存的傳統流程需要有內部的流程,通過手工管理請求,基於服務ticket將儲存預配到主機上。ticket的負責人負責確保是否允許業務線「購買」儲存,並且隨後負責所有實現。

即用即付

可以使用信用卡購買公有雲資源,滯後付款。工作流的改動意味著很多企業需要在部署內部雲儲存時實現支付和退款。

在私有雲裡,目標是讓流程盡可能地自動化。emc的vipr是這樣的工具,讓使用者圍繞儲存自動化來構建工作流流程。hitachi data systems提供了hitachi automation director圍繞儲存以及其他資源的預配構建工作流。

很多企業將需要考慮私有儲存雲所需的支付上的變化。如果沒有實現支付和退款,那麼什麼也幹不了,因為it部門還需要繼續負責服務交付的費用——很可能繼續根據專案來收費。但是,如果必須購買新資源,那麼財務實踐上就需要一些變更——可能包括it直接支付硬體、可能需要允許基於服務的賬單,讓業務單元負責這裡的開銷。

stack部署

跳出儲存團隊的視角,看向更為廣泛的領域,你可以在私有雲框架,比如openstack上構建儲存自動化,來節約預配的工作量。最初的openstack部署沒有持久化儲存的能力,因此建立了一些專案來管理和外部儲存佇列的整合。最終cinder專案處理塊儲存並且自動將lun對映到openstack例項上,而manila提供了和檔案系統資料的整合,swift提供物件儲存的api。

更廣泛的stack

雲儲存,可以是內部的或者公開的,是更廣泛的基礎架構stack的一部分。這意味著和openstack或者vcloud director這樣的平台整合。

同時,儲存**商能夠編寫外掛程式,讓openstack框架能夠按需預配並且對映儲存lun。很多硬體和軟體公司已經支援了所有openstack的儲存api。cinder支援openstack平台的每個版本所支援的**商特性。

公有雲集成

向前看,這個世界並不是只有公開和私有,還有兩者的混合。因此,存在在公有和私有基礎架構之間移動資料和應用程式的需求,後者提供額外的資料保護(備份)並且提公升可用性。你還可以為使用公有雲儲存負責突發的工作負載和歸檔。

在本地以及公有雲位址之間移動應用和資料的產品已經出現在市場上了。物件儲存**商,比如cloudian(hyperstore)以及hitachi data systems (hitachi content platform)提供了將本地資料歸檔到雲上的能力,並且能夠搜尋所有內容,就像儲存在同乙個地方一樣。

資料保護方面,druva和zerto都提供了產品,讓使用者可以在公有雲上備份以及恢復本地的虛擬機器(vm)。作為備份和遷移流程的一部分,軟體負責處理vm映象的轉換,以及額外驅動的注入。

虛擬化

在執行伺服器虛擬化的平台上,儲存通常會對映到物理主機上。大部分建立虛擬機器例項儲存的工作都由hypervisor管理軟體來處理。vmware通過vrealize automation 和 vcloud director提供自動化,而microsoft提供了system center 2016。

velostrata更進一步,允許在公有雲上啟動vm來處理雲爆發。這可以用來在高資源配置的vm上執行應用,隨後在本地可用,或者將工作負載移動到公有雲上來應對突增的需求。一旦峰值過去,vm就可以歸還回去。

同時,虛擬化**商也開始和雲**商合作,完成應用到公有雲的遷移。比如,vmware最近發布了amazon web services上的vmware cloud,以及和ibm的合作夥伴關係。它還提出了跨雲架構,作為管理多雲部署的方式。microsoft azure stack(撰寫此文時出了技術預覽版)在azure雲上提供了相同的功能,可以執行在私有資料中心上,鏈結到公有azure上。

很明顯,如今本地和公有雲的實現是不同的,主要差異在自動化程度,是否完全利用私有雲儲存。工作流,是其中最為重要的部分,——可能——仍然尚未成熟,需要今後私有雲上的更多工作。

這裡難題的一部分是改變內部業務團隊的行為。這是公有雲幫忙推進的領域,並且也應該採納為內部資源的交付模型。

如何構建乙個私有儲存雲

企業構建內部雲儲存時必須考慮彈性,選擇正確的平台,並允許工作流,堆疊部署和公共雲集成。企業如何去構建自己的私有儲存雲?首先,讓我們回顧一下雲計算的真正含義。雲計算的標準定義包括以下特點 彈性增長和縮減消耗資源 交付即服務,以抽象術語而不是在物理硬體上定義的服務產品的標準集合 多租戶支援多客戶端 按需...

構建私有雲,主要面臨哪些挑戰?

預算。私有雲的構建成本可能比較高昂,所以你必須考慮清楚投資回報率的上限和下限。與公有雲相整合。構建了私有雲之後,如果你還需要公有雲服務的話,也可以轉向一種混合模式。這會牽涉到如何保障系統的安全,以及如何在公有雲和私有雲中核實你能夠執行的工作負載。規模。私有雲通常是不具備大規模公有雲提供商所提供的規模...

構建私有雲的五個步驟

如今,企業在業務中越來越多地採用新技術。也許他們執行一些特定的任務,超出了日常關注的it管理工作。也許他們是有用的某種特定的工具,但並不是任何正式工作流程或過程的一部分。也許這是他們提高效率的一種方式,可以逐步採用乙個伺服器或一組應用程式。在早期,虛擬化大多屬於後一類。在21世紀初期,許多企業急切地...