RAMCloud使未來資料中心無需硬碟

2021-06-01 22:57:08 字數 1864 閱讀 3729

相對於ramcloud 磁碟和快閃儲存器的速度都已顯得力不從心

在當今的時代下,固態硬碟已成為企業中的熱門技術。但史丹福大學的電腦科學團隊認為有更好的解決方案。他們已經想出了可擴充套件且高效能的儲存方法,其被稱為ramcloud。這種解決方案可儲存動態隨機儲存器中的所有資料。同時還可以聚合整個資料中心的記憶體資源。

ramcloud的可擴充套件性和效能方面表現使它成為高效能計算的關鍵技術。特別是資料密集型的應用程式,而此技術在計算密集型的應用程式則表現一般。

ramcloud專案由史丹福大學教授john ousterhout發起。同時他也是tcl指令碼語言的發明者。他還是electric cloud公司的董事長,electric cloud公司成立於2023年,其主要業務是提供高效能軟體構件工具。ousterhout在高效能計算領域進行了深入的研究,並對分布式檔案系統和高效能檔案系統有所研究。簡而言之,ramcloud是在資料中心或集群的大量伺服器中匯集在記憶體中所有應用程式資料的軟體平台。ramcloud可提供比基於磁碟儲存低100-1000倍延遲和比以往高100-1000倍的吞吐量。

研究人員相信目前的所依賴的硬碟技術將不足以應對資料密集型應用,這個趨勢正在蔓延到企業計算的各個方面。研究人員還在文章中宣布如果ramcloud成功,它將會取代磁碟從而作為資料中心主要的儲存技術。

ramcloud的兩個最吸引人的特性是能夠擴充套件到數以千計的伺服器並能夠保持極低的延遲。

ramcloud的延遲可低至5-10微秒。這比傳統磁碟快1000倍,比快閃儲存器要快5倍左右。研究人員表示ramcloud的低延遲特性對於對低延遲有苛刻要求的web的應用來說都有些顯得效能過剩。但還是應該鼓勵這種技術的發展,這會帶來巨大的效能優勢。同時對於一些高效能計算(hpc)應用,ramcloud的低延遲特性則顯得如魚得水。

但網路延遲對ramcloud低延遲優勢的影響也是不可迴避的問題。雖然像infiniband、myrinet和arista等高效能乙太網廠商可實現跨資料中心10微秒延遲資料傳輸。但今天大多數裝置採用的tcp/ip乙太網的延遲達到了300-500微秒。網路延遲方面的優化是ramcloud效能最大化的關鍵因素。

至於可擴充套件方面,研究人員認為使用當下的商用伺服器和儲存技術ramcloud的規模可高達500tb。在未來5-10年ramcloud的成本可能會降到每gb 5美元,並且規模可達到1-10pb。

圖表代表三種儲存技術在不同大小資料集和不同訪問頻率的成本(史丹福大學電腦科學系繪製)

但在當今的市場,ramcloud儲存成本為每gb 60美元左右。dram系統的相對於磁碟和固態儲存來說還是略顯昂貴的。dram儲存系統比傳統的磁碟的**貴50-100倍,比快閃儲存器貴5-10倍。但對於高吞吐量i/o應用dram還是能夠體現其價值的。研究人員表示如果你的**執行速度夠快,你就可以突破儲存資料訪問的約束。從這個角度看dram其實比比傳統硬碟**低10-100倍。

這項技術也不可避免的面臨一些問題,包括精確的資料模型和api、如何優化遠端呼叫延遲、資料持久型和可用性、集群管理、多租戶的應用、以及支援原子更新等技術還在摸索中。然而,這些都是可以解決的問題。

隨著資料中心的擴充套件建設,未來將會浮現出越來越多的資料密集型應用。這為ramcloud的普及奠定了基礎。現在還沒有乙個ramcloud專案變成商業產品的時間表。不過ousterhout在electric cloud的經驗可幫助ramcloud盡快在商業領域中應用

資料中心與雲資料中心

資料中心與雲資料中心 資料中心 dc,datacenter 是指在乙個物理空間內實現資訊的集中處理 儲存 傳輸 管理等功能,它包括伺服器 儲存 網路等關鍵裝置和這些關鍵裝置執行所需要的環境因素,如供電 製冷 消防 監控等關鍵基礎設施。雲資料中心是一種基於雲計算架構的,計算 儲存及網路資源松耦合,完全...

資料中心的那些未來技術

資料中心是科技高度集中的場所,未來幾乎所有的先進技術均與資料中心有關。這些新技術將資料中心帶入了快速奔跑的時代,很多新鮮概念有時也讓人看得眼花繚亂,稍不留神就會落伍。資料中心不再是乙個堆積冷冰裝置的機房,而是擁有無限想象的資料城堡,總是能給你帶來驚喜。今天就來說一說那些與資料中心有關的前沿技術,說這...

資料中心的那些未來技術

資料中心是科技高度集中的場所,未來幾乎所有的先進技術均與資料中心有關。這些新技術將資料中心帶入了快速奔跑的時代,很多新鮮概念有時也讓人看得眼花繚亂,稍不留神就會落伍。資料中心不再是乙個堆積冷冰裝置的機房,而是擁有無限想象的資料城堡,總是能給你帶來驚喜。今天就來說一說那些與資料中心有關的前沿技術,說這...