如何自建雲儲存平台?

2021-09-23 02:20:17 字數 3828 閱讀 2214

傳統儲存架構的特點

專門用於儲存的san(儲存區域網)不僅成本昂貴而且功能單一。隨著網路速度的提公升,現在融合面臨著更大的機遇,因為現在資料中心骨幹網路可以容納儲存,從而建立單一的資料傳輸管道。通過iscsi(網際網路小型計算機系統介面)或乙太網光纖通道(fcoe),內部ip網路上的儲存雲在靈活性上正越來越具有優勢。傳統的網路連線將支援ip傳輸(比如iscsi,nfs(網路檔案系統)或cifs(通用網際網路檔案系統),以及fcoe)的現有要求。

fcoe旨在促使san擴充套件到整個企業資料中心。許多資料中心使用針對tcp/ip網路的乙太網和針對儲存區域網(san)的光纖通道。通過fcoe,光纖通道變成執行在乙太網上的另乙個網路協議,與傳統的ip傳輸一起傳輸。fcoe可以在網路協議堆疊的乙太網上直接執行,而iscsi則是執行在tcp和ip之上。因此,fcoe不可在ip層上傳輸,而且也將不可以在路由的ip網路上工作。

那些對儲存預算比較敏感的組織有必要了解雲。

自建雲儲存

什麼是雲儲存?對雲最好的描述是乙個公共事業單位。雲包含各種幕後技術--可擴充套件的和冗餘的伺服器、控制器、儲存和軟體--這些技術都是現成的,將它們結合在一起可以建立乙個儲存"雲"。(owncloud 打造自己的專屬私有雲) 

在這種模式下,我們可以從地理上分散的多個站點中獲得各種磁碟池,將它們整合到儲存的邏輯分割槽,將這些分割槽複製到(本地地或異地地)其他地方,並通過在網路上可訪問的全域性命名空間將整合後的儲存安全地提供給每個小組。

這些磁碟池有各種特點和功能,比如重複資料刪除、自動精簡配置、高可擴充套件性、資料保護以及簡單的管理。這些整合後的功能,加上網路的高頻寬,使雲儲存得以在如今變成現實。

雖然資料量繼續快速增長,但是許多組織的it預算還是持平或在下滑,從而給許多公司帶來巨大的挑戰。它們必須一方面管理好資料增長,另一方面還要保持成本下滑。雲儲存可以在這個方面發揮作用。

在公司的儲存環境內部,大約有60%到80%的資料可以列為舊資料或過期資料,這些資料應該放在第3到6層的儲存上。

1層——企業級,高速

2層——企業級,中速

3層——san/nas(網路附加儲存)(模組化,高速)

4層——san/nas(模組化,低速)

5層——cas(內容感知儲存)(歸檔合規)

6層——vtl(虛擬磁帶庫)

在大多數資料中心內部,有許多非結構化資料和歸檔資料,這類資料非常適合於雲儲存。 內部雲與外部雲

雲儲存大致可以分為兩類:內部雲和外部雲。外部雲是第三方服務提供商所提供的雲服務。內部雲的許多特性和外部雲相同,但是屬於組織本身並且在內部執行。

在選擇內部雲和外部雲的時候,網路延遲性必須得到考慮。外部雲依賴於網際網路,因此只適合於4-6層資料儲存。內部雲可以用於3層以下儲存,視本地內部網頻寬而定。

對於大多數it組織來說,可擴充套件性是內部雲儲存的乙個關鍵指標。雖然支持者聲稱雲非常易於擴充套件,且擁有近乎無限制的增長潛力,但是我們還是需要仔細考慮雲的容錯性、動態擴充套件和容量增長規劃。雲並不是應對資料增長的萬靈藥,它是乙個需要有效管理的商品。

此外,在實施雲儲存之前,我們也需要定義和理解關鍵的效能指標。通常,我們假設非活躍資料不需要像高層儲存那樣高的效能。但是,同時進行的其他專案,比如電子發現,可能需要這類資料有相當的效能。

響應時間和終端使用者體驗也必須協調。我們必須有服務水平協議(sla)或執行水平協議(ola),

且雲解決方案必須可以滿足這些要求。由於資料是通過內部網訪問的,在進行雲儲存實施前,必須對當前網路能力和容量有乙個清醒的認識,判斷好可能的延遲性。對於特定的內部雲解決方案,必須在整個解決方案中加入最佳實踐指導。

在考慮新技術的時候,我們需要評估管理上的簡單性和實施上的方便性。我們經常需要依賴已經有工作任務的現有人員來部署實施新的技術。

我們需要判斷好需要什麼樣的角色和職責,這些職責如何分配,以及需要多少時間。這些問題並不是單純的技術問題,而是乙個有助於提高現有人員整體效率的思考過程。

判斷雲儲存是否適合於某個組織是需要仔細考慮的。首先,我們需要分析資料中心資料,判斷有多少資料可以遷移到雲。然後,it人員必須判斷這些資料可以以怎樣的方式遷移到雲。一些資料的遷移很簡單,就像複製過程一樣;另一些資料的遷移可能需要某種形式的資料遷移器,以保證這些資料遷移後能夠符合實現設定好的政策。

另乙個重要的考慮因素是經濟上的可行性。外部雲可能適合於那些關心現有儲存成本並厭惡風險的公司,而那些對外部雲的成本和風險比較敏感的公司可能會選擇部署內部雲。

由於外部雲實際上是儲存即服務,因此其成本取決於儲存資料量和合約時間。另一方面,內部雲在總擁有成本上的考慮和大多數其他內部儲存方式一樣。

雲儲存的功能與職能

雲儲存可以僅包含儲存,也可以既包含儲存也包含計算。隨著伺服器和儲存都可以被虛擬化並通過不同的協議來連線,雲計算的世界有越來越多的功能和職能。就更加純粹的雲儲存而言,儲存通常是連線到乙太網並通過http(s)、cifs/nfs、fcip(基於ip協議的光纖通道)/iscsi或fcoe協議來訪問。

儲存功能(比如自動精簡配置、自動資料重分層、重複資料刪除、自動複製)和本地/地理上分散的解決方案正變得越來越流行。

雲的潛在問題包括:

非常大的檔案

大量非常小的檔案

以一定頻率訪問的檔案擴充套件連線協議可以支援的物件

外部雲服務提供商有時會關閉儲存的預讀快取記憶體引擎,導致終端使用者的資料讀取變慢

好處與顧慮

雲儲存的好處包括it職能部門(比如儲存和網路部門)之間更好的協作,以及對儲存池的自服務網路訪問。這種儲存應該要有政策推動型的自動化功能,包括快速和方便的儲存配置和重新分配,以及自動化的複製功能。使用者對外部雲的顧慮主要包括資料可用性、訂購條款、缺少地點控制、缺少對資料的物理訪問、為支援解決方案而增加的額外的元件、外部頻寬要求、壓縮和/或加密資料的需求,以及潛在的合規風險。

使用者對內部雲的顧慮通常更少,但是使用者還是要注意軟硬體上的安全性、管理、公升級和更新,以及前期資本投入。大多數這些顧慮已經存在於日常的內部儲存管理中,並不是新問題。

雲儲存使使用者可以快速增加儲存,減少儲存管理員的負擔。資料在平台內部的遷移或平台到平台以及站點到站點的遷移可以自動化,從而進一步減少儲存管理員的負擔。

在某個層(比如針對備份或歸檔)配置雲儲存的使用者可能會在現有工具內設定政策,然後再將資料遷移到雲儲存。對那些有季節性需求並將雲看做是快速增加容量的工具的使用者而言,以及對那些需要在測試環境中建立資料副本的使用者而言,他們的政策是在不需要繼續儲存的時候釋放臨時資料儲存空間,並根據需要進行備份或歸檔。

最後,對於那些管理自己的雲儲存的使用者,有一些解決方案可以建立自動政策。這些例子可能包括對儲存的配置或重分配。

雲服務的五步實施包括:

集中化it管理,以便獲得規模經濟性,更好地理解成本並控制it服務。

根據主要的業務要求,標準化雲服務。如果試圖針對每個應用程式而支援專門的解決方案的話,會給資源帶來負擔。一致性是提高質量、減少支援成本和風險的關鍵。標準化是合併和自動化成功的前提條件。

虛擬化並合併物理架構。虛擬化和合併可以提高利用率和儲存效率。虛擬化可以在每個架構堆疊層

級上實施:在應用程式和資料獲得移動性後,使用者可以獲得統一的儲存、統一的光纖架構、虛擬伺服器、更高的資產利用率和簡化的資產生命週期管理。整合的資源可以帶來更快的市場反應速度和更低的整體成本。

自動化環境:一旦雲服務和流程得到標準化,架構得到虛擬化,那麼就可以實施自動化。自動化工具可以提高抽象程度,為整體的工作流管理提供簡化的和高效的控制。

授權給自服務和api(應用程式程式設計介面)。將控制權轉移給組織/使用者是雲服務模式部署成功的明證。通過應用程式整合和自服務功能,應用程式管理員和所有者可以靈活地隨需擴充套件,根據組織的要求選擇不同的效能水平和資料保護水平,並從應用程式錯誤中自動恢復。這很大程度上減少了管理員的負擔。雲服務的擴充套件需要組織內部各部門間相互配合才能順利度過各個階段。

原文發布時間為:2023年7月25日

自建CDN部署平台

測試通過平台 centos 6.x 7.x 64位作業系統 其它版本未經測試 注釋 註冊賬號 銳速 美國伺服器安裝銳速 yum install y wget wget n no check certificate bash serverspeeder.sh第一步 yum install y wget...

雲儲存平台 Seafile搭建

系統 redhat7.0 ip 172.25.27.2 hostname server2 官網 root server2 wget root server2 tar zxf seafile server 6.2.3 x86 64.tar.gz root server2 mkdir p seafile...

十大雲儲存平台技巧

自2016年起,我們已經分析了十大重要儲存平台,從實施混合雲到制定資料遷移策略。對於雲儲存來說,渡過了乙個漫長而奇怪的一年。曾經認為的儲存時尚剛剛出現在各地,同時雲遷移策略比以往更加廣泛了。對於一些組織來說,是否實現雲儲存平台已經不再是問題,而是什麼時候實施才是重點。災難恢復服務 draas 和物聯...