統一儲存的進化

2021-06-27 07:37:20 字數 1804 閱讀 6574

比較喜歡這個英文標題,因為覺得它表達一樣的意思,感覺確比中文有氣勢一點。

儲存作為it時代的基石,其進化史基本上是和it的進化史同步到。it的發展從單機時代,到網際網路,架構從cs進化到雲和大資料時代。it業的變遷對統一儲存提出了不同的要求,為了滿足這些要求,統一儲存產品的進化可以分成四個時代。

第一代統一儲存產品主要用於檔案訪問,主要的應用場景是目錄服務和檔案協同,例如為每個人分配一定大小的儲存空間,再把這個空間掛載到個人機器上來。這一代儲存產品的主打特色是便捷的訪問性,使用者訪問遠端資源就像訪問本地資源一樣,這背後的兩大功臣就是nfs和cifs。

第二代統一儲存產品的出現是為了滿足事務性或者說是交易性業務的處理,典型的應用場景是虛擬化和資料庫,虛擬化應用主要是vdi部署。vdi和資料庫一般比較推薦部署在san這樣的塊儲存裝置上,實際上近些年來有不少使用者開始在nas上部署vdi和資料庫,並且根據idc的**,未來nas還會搶奪更多的市場,這是乙個很有意思的想象,這是為什麼呢?後面會專門寫一篇文章來解釋。

第三代統一儲存產品是為了滿足當下炙手可熱的雲時代的要求,前兩代產品已經比較成熟,第三代產品應該是什麼樣子,業界的看法並沒有統一,每個廠商有不同的理解和產品規劃。這一代產品的典型應用場景是公用雲,私有雲以及混合雲,還有種種軟體定義xx,例如軟體定義資料中心,軟體定義儲存,軟體定義網路等等。第二代統一儲存產品已經可以滿足一部分雲時代的需求,例如vdi,但vdi只是雲的乙個子集,雲還有很多其他的應用場景,儲存裝置作為it的基石,在雲時代就要和雲平台無縫整合,例如對openstack的支援,還有如何把資料在儲存裝置和公有雲或者私有雲之間來回遷移也是一種需求。在軟體定義xx時代,一切裝置都可以被跑在x86平台上的軟體虛擬化,那麼軟體定義的儲存是什麼樣子呢?這一問題沒有標準答案,emc有乙個產品叫vipr,還有乙個產品叫scaleio, server san是目前很被看好的乙個方向,vmware和nutanix,simplivity等一眾創業公司正在這個領域打得火熱。那麼統一儲存裝置的機會在**呢?換個角度看,專用的儲存裝置其實是一種經過特別設計的計算機,有沒有可能順應虛擬化的大潮,把儲存裝置本身也給虛擬化了跑在商用的x86機器上呢,這樣使用者可以給不同的應用分配不同的儲存裝置,讓應用真正做到端到端的隔離,同時儲存的管理也更集中,部署更快。 也許不久就能看到商用的vvnx, vfas和voceanstor等。

***儲存產品是為了滿足大資料時代的要求,這麼劃分也許有人不一定贊同,但是大資料的需求和雲等其他應用場景的需求是很不一樣的。大資料時代要求統一儲存產品能更好地服務於資料處理,更好地支援hadoop和資料倉儲應用。

下圖列出來每一代產品要著重滿足什麼樣的需求,需要具有什麼功能特性。

對於第二代產品來說,事務性處理應用對響應時間和可用性的要求非常高,如果中國移動或者工商銀行有一天發現他們的oracle或者db2資料庫變慢了,原因是儲存裝置的io處理速度下降,他們的運維和儲存裝置**商的技術支援一定會鴨梨山大。為了保護關鍵業務資料,應用級別的快照和備份也是必須的。塊級別的去重和與虛擬機器等應用的整合也是很有必要的,例如vmware在vdi環境下為了提高儲存裝置的效能,制定了一些標準,各大儲存廠商紛紛響應。

第三地儲存產品要側重解決多租戶的需求,多租戶的定義 還需要特別關注服務質量,服務質量是雲計算成功的關鍵點。此外虛擬機器級別的管理,例如和openstack的整合也是需要解決的問題。

***產品要支援hadoop這樣分布式的檔案系統,要提供更高的頻寬,滿足大資料處理的效能要求,還要關注如何為客戶省錢,例如把大資料在儲存端變成小資料就是必須的。

統一儲存入門

大家都在爭第一,那這個統一儲存到底是個啥東東呢?統一儲存是指可以在單一裝置上同時提供塊 block 儲存和檔案 file 儲存服務的裝置,為了同時提供兩種服務,統一儲存裝置需要支援fc 光纖通道 iscsi和nas訪問服務等。這是因為塊訪問服務一般通過fc或者iscsi,而檔案訪問服務需要通過標準的...

漢字的統一與儲存編碼

今天碰巧看了下unicode編碼問題,計算機的世界真是太神奇了。因為中日韓等多個地區都有自己漢字的寫法,統計起來漢字個數就非常多了,如果文字採用16位全球文字編碼 ucs 2標準 六萬多個位置估計放漢字都不夠。所以把一些同字異形的漢字統一成相同的編碼,從而節省空間,這是十分有必要的。其中漢字編碼有個...

儲存系統實現 構建自己的儲存系統 一

一直在斷斷續續的看lucene原始碼,怎麼也理不清其中千絲萬縷的聯絡,遂想自己邊寫邊理解。在寫的過程中更加理解索引的意義,以及在開發過程中如何利用索引加快檢索,如何利用跳躍表來實現快速查詢。如何利用快取來實現減少磁碟io的開銷。這裡先從整個流程說起,這裡簡單的模擬了一下資料儲存和查詢的過程。在寫這個...