XSKY借助英特爾SPDK提公升Ceph效能

2021-09-23 11:22:48 字數 1083 閱讀 9702

nvme是新一代的pcie固態硬碟介面規範,其目的是統一主流廠商的ssd接**互標準,並更好的對上層系統釋放效率潛能。nvme標準的倡導者包括英特爾、三星、美光、oracle、微軟、dell、hgst、希捷等行業領先企業,2023年11月發布版本1.2標準。

市售的基於nvme硬碟動輒可達到單盤gb級的讀寫頻寬和十萬量級的隨機iops,為sata固態硬碟的5~10倍。然而,由於linux核心驅動實現與排程機制的限制,主流的軟體定義儲存系統並不能完全釋放其效能,同時,對cpu等系統資源消耗巨大,為構建融合儲存系統帶來挑戰。

繼為sdn和nfv領域帶來福音的dpdk之後,英特爾於2023年9月開始,逐步將為nvme等新一代儲存規範優化的linux效能工具包spdk(storage performance development kit)對合作夥伴與社群開源,試圖將linux使用者態儲存服務程式與底層硬體設施打通,大幅度縮短io路徑,充分利用無鎖機制,為nvme等新一代的儲存介質打通軟體層瓶頸,使其能夠在有限的系統資源消耗下支撐關鍵業務儲存系統足夠的頻寬和延時要求。

如同dpdk一樣,spdk作為開源的**實現,並不僅僅支援英特爾品牌的快閃儲存器裝置。它面向整個基於linux平台的軟體生態系統,為業界「軟體定義儲存」(sds,software defined storage)提供了又一效能與架構利器,勢必影響深遠。

作為開源軟體定義儲存的首選系統,ceph長期以來就其計算資源佔用率和效能方面,雖不斷提高,但在快閃儲存器環境下仍難覓突破性進展。順應業界趨勢,將spdk的支援在ceph中實現勢在必行。

xsky(星辰天合)是國內sds初創企業,其團隊在ceph開源社群**貢獻量在全球行業內領先。作為英特爾在中國的首批spdk合作夥伴之一,xsky率先將spdk與ceph使用者態檔案系統bluefs整合,大幅度提高ceph在nvme介質上的落盤效率,相較於此前的nvme公版核心驅動,資料落盤模組效能提公升在20%以上(在英特爾 p3700 ssd上已測試驗證)。結合intel dpdk後,效能達到雙倍提高。隨著對ceph上層模組的優化,可以期待整個系統更好的效能表現。

該創新實踐已得到red hat方面ceph社群領袖sage weil等人的認可,xsky已將此部分**貢獻到開源ceph主線,並承諾持續對此部分進行整合優化工作,推動該技術在實際生產環境中的應用。

英特爾之變

上週一周的時間,俺前往美國加州西海岸的huntington beach參加了英特爾投資一年一度的全球ceo峰會。短短的幾天時間裡,每天都見n多人,也採訪了n多人,目前還沒有仔細地歸納總結。但是,我感覺如今的英特爾正在發生很多變化,說出來給大家,看看是不是那麼回事 圖一 huntington beac...

英特爾漏洞

危險波及所有裝置 智慧型手機亦受威脅 如果你以為這次英特爾的安全漏洞只會影響到企業網路和電腦,那麼你就錯了。這個漏洞可能會危機計算機以外的裝置。現有的微處理器,甚至包括那些執行的智慧型手機的微處理器都會受到威脅。所有的微處理器,無論是智慧型手機還是計算機上的,都基於下面的執行猜測 後續可能要執行的指...

英特爾的奔騰

矽谷之所以叫矽谷,並不是因為它生產矽,而是這裡聚集了很多使用矽的半導體公司,包括世界上最大的半導體公司英特爾,全世界一大半的計算機處理器都是英特爾的。在上世紀80年代以前,幾乎所有的計算機公司包括ibm dec都是自己開發處理器,因為這些計算機公司代表了處理器設計和製造的最高水平,而英特爾生產的是低...