阿里雲高階總監談超大規模超高效能分布式快儲存系統

2021-08-31 06:59:15 字數 1511 閱讀 7014

摘要: 10月27日下午,2018中國計算機大會上舉辦了主題「新型硬體環境下大資料處理技術」的技術論壇,一起**新型硬體帶來的變化。論壇上,阿里雲高階總監馬濤針對超大規模超高效能分布式塊儲存系統essd進行了報告分析。

新型硬體(如nvram、rdma、gpu/tpu等)及其構建的異構複雜環境,與既有硬體環境的巨大差異,導致傳統的演算法、資料結構甚至是涉及原則和經驗法則等難以為繼,對計算智慧型與大資料處理帶來新的挑戰和機遇。

10月27日下午,2018中國計算機大會上舉辦了主題「新型硬體環境下大資料處理技術」的技術論壇,一起**新型硬體帶來的變化。論壇上,阿里雲高階總監馬濤針對超大規模超高效能分布式塊儲存系統essd進行了報告分析。

專家簡介:

馬濤,阿里雲高階總監,在ibm、oracle有多年的作業系統以及企業級儲存的研發經驗,2023年加入阿里巴巴集團**核心系統部,負責**底層作業系統的設計和研發工作。2023年轉入阿里雲,負責阿里雲彈性計算儲存相關產品的研發工作。

在報告中,馬濤指出面對企業上雲實現數位化轉型以及新硬體架構層出不窮,現有儲存產品已無法滿足業務的需求,亟需新一代的超大規模、超高效能分布式快儲存(essd)提公升系統的業務能力,目前essd的效能已將單塊雲盤效能提公升到100萬iops、100微秒延遲、4000mb吞吐量的全新高度。

隨後,馬濤介紹了essd系統的設計和實現,展示了阿里雲在軟硬一體協同優化方面的探索,基於nvme sdd和3d xpoint新一代儲存介質,採用了全使用者態協議棧,通過使用者態polling模式驅動程式架構如spdk、dpdk等,讓essd達到釋放數百萬iops的能力,完成計算機體系結構的全面調優,滿足超低延遲、超高效能和超大規模的設計要求。

最後,馬濤對塊儲存的未來發展提出了一些新的思考和方向,包括如何應對資料中心內部的網路問題、如何解決高效能儲存的資源隔離和軟硬一體化、redis的教訓、傳統塊儲存產品如何使用、如何和cloud native更好的配合等。

阿里雲產品分析(6) 馬雲談阿里雲戰略

馬雲談阿里雲戰略 馬雲是阿里系的精神領袖,不了解馬雲在說什麼,以及不了解馬雲怎麼想,是無法明白阿里雲是怎樣的公司的。2011年 年會馬雲講話 我想感恩這個時代給了我們這些人機會,網際網路 中國的開放 電子商務以及商務環境的不完善,讓我們有可能創造b2c c2c b2b打成統一平台的機會。美國已經不可...

阿里雲大資料總監 計算讓城市更智慧型

10月25日,2018中國計算機大會上舉辦了主題是智慧型城市下個十年 智在 數 還是 術 的技術論壇。目前,城市已經具備了豐富多樣的大資料積累,成體系的資料管理標準,開放自由的資料流動環境等重要基礎,但對於已經同時掌握 數 據和技 術 的玩家,在許多城市和現實環境中,城市大資料管理和處理技術難以得到...

阿里雲高階計畫 Day1

安全組 一定要開放ssh 22 http 80 和https 433 埠,授權物件為0.0.0.0 0 安裝 node.js node.js解壓安裝完成後,要修改環境變數,使得能在任意 錄下執 node命令 配置 vuepress 1.設定package.json的指令碼配置 vim package...