實際場景中,雲原生儲存面臨的 7 個挑戰

2022-06-07 09:12:08 字數 1550 閱讀 1849

作者 | eric li (壯懷)  阿里巴巴雲原生儲存負責人

隨著雲原生應用對可遷移性、擴充套件性和動態特性的需求,對雲原生儲存也帶來了相應的密度、速度、混合度的要求,所以對雲儲存基本能力之上又提出了在效率、彈性、自治、穩定、應用低耦合、guestos 優化和安全等方面的訴求。參考《雲原生儲存和雲儲存有什麼區別?》

新的企業負載/智慧型工作負載容器化、遷雲、儲存方面遇到的效能、彈性、高可用、加密、隔離、可觀測性及生命週期等方面的問題,不但需要儲存產品層次的改進,還需要在雲原生的控制/資料平面的改進,推進雲原生儲存和雲儲存的演進。下文將分別介紹一下問題場景及問題,**可行的解決方案,最終可以得出雲原生儲存、雲儲存目前可以做什麼和未來還需要做什麼。

高效能計算場景中,集中處理批量資料,通過容器集群,同時啟動數千 pod,彈出數百 ecs 對共享性檔案系統讀寫。

重負載終負載下時延增加,高延遲毛刺增多,讀寫穩定性不足。

高效能計算場景中,集中處理批量資料,10gbps 讀寫請求進入同一儲存集群。

同一儲存集群中的頻寬擠占,造成訪問質量下降。

大規模生物資料處理, 檔案數目少,峰值吞吐高 10gbps-30gbps,請求密集 1w/s。

接近獨佔集群的極限頻寬。

多機多卡 gpu 訓練,直接讀取 oss 資料,讀密集型。

時延增加導致 iowait 和 gpu 等待。

單機雲盤掛載密度;

儲存產品 essd 的替換使用。

多租戶 zookeeper/etcd,租戶/應用級的 io 指標監控和預警。

共享檔案系統/快取系統的宣告式建立和刪除。

針對以上在新的計算模式下,儲存方面遇到的效能,彈性,高可用,加密,隔離,可觀測性,生命週期等方面的問題,不但是需要儲存產品層次的改進,更需要在雲原生的控制/資料平面的改進,在不久的將來實現穩定,安全,自治,和效率並舉的雲原生儲存 v2。

需要在雲原生應用層、儲存雲產品層、底層儲存適配和儲存核心層都需要做相應的改進和提公升才有可能提供更加穩定,安全,自治和高效的面向應用的雲原生儲存。

在雲原生儲存 v2 的演進過程中,仍然需要容器團隊和儲存團隊,通力合作,共同提公升的雲原生時代的儲存能力。

7個很棒的 chatbot 應用場景

為聊天機械人選擇正確的應用場景,從而獲得商業價值。在整個 chatbot 構建過程中,選擇合適的業務場景是最重要的一部分。你設計 chatbot 的目的,將影響你如何去設計 chatbot 的專有語料資訊,以及將來如何重構整個 chatbot 以下是 7 個使用 chatbot 很棒的應用場景,如果...

一 Redis的7個應用場景

另一篇 redis的7個應用場景 一 快取 熱資料 熱點資料 經常會被查詢,但是不經常被修改或者刪除的資料 首選是使用redis快取,畢竟強大到冒泡的qps和極強的穩定性不是所有類似工具都有的,而且相比於memcached還提供了豐富的資料型別可以使用,另外,記憶體中的資料也提供了aof和rdb等持...

從乙個簡單的功能到實際落地業務場景的處理分析

場景 資料庫 訂單列表 userid 使用者id ordertime 下單時間 isevaluate 是否評價 主要思路 base 系統內,做個定時查詢,根據ordertime 下單時間 判斷是否超過七天,然後修改isevaluate 是否評價 注意事項 以為是每天以最少1 2萬量級的資料增加,因此...