雙十一大考 POLARDB分鐘級彈性讓企業輕鬆擴充套件

2021-09-11 15:16:32 字數 1787 閱讀 3766

polardb優勢解讀系列文章之——分鐘級彈性

我們知道polardb乙個最大的特點是儲存與計算分離,所謂分離就是計算節點(db engine)和儲存節點(db store)在不同的物理伺服器上,任何落地到儲存裝置的i/o操作均為網路i/o。可能會有人問,走網路,延遲怎麼樣,效能好不好?在『價效比』這篇文章中簡單介紹過借助polarfs經過網路訪問polarstore的測試效果,與本地單副本ssd幾乎持平,這裡就不再贅述。

polardb的儲存與計算分離的架構,除了可以降低儲存成本,保證主備資料強一致、不丟資料之外,還帶來了乙個巨大的優勢,就是讓資料庫的『彈性伸縮』變得極為簡單、便捷。

雖然彈性伸縮是雲的一大特點,很多人也正是看上這一點,才把自己的it系統搬遷到雲上。但資料庫的彈性伸縮一直都是業界難題,不同於純粹提供計算服務的ecs,資料庫要想做好彈性需要應對這些問題:

現在,當突破了儲存與計算分離的效能瓶頸後,結合多節點共享同乙份資料的架構設計,我們終於可以在資料庫的彈性伸縮領域有了新的進展。

如上圖,polardb是乙個分層架構,從上層的**polarproxy提供了讀寫分離、sql加速等功能,到中間的資料庫引擎節點polardb構造了一寫多讀的資料庫集群,再到底層的分布式儲存polarstore為上層提供多節點掛載的資料共享,每一層各司其職,共同構建了polardb雲資料庫集群。

從polardb產品定義上看,使用者購買的節點數和規格大小(比如4核16g)指的是中間這一層polardb的配置,上層polarproxy可以根據polardb的配置自適應調整,使用者不需購買也不用關心效能和容量。底層polarstore的容量是自動擴容,只須按照實際使用容量付費。

通常意義的擴充套件性,一般有縱向(scale up)和橫向(scale out)和兩種方式,縱向是指提公升配置,橫向是指配置不變,但增加節點。對於資料庫來說,都是先縱向,比如4核不夠公升到8核。但終歸會遇到瓶頸,一方面效能提公升非線性,跟資料庫引擎自身的設計和應用訪問模型有關(比如mysql的多執行緒設計,如果只有乙個session,那麼很難體現出多核的優勢),另一方面,計算物理伺服器配置有上限,存在天花板。因此終極手段還是橫向擴充套件,增加節點數。

一句話概括,__polardb橫向最多可以到16個節點,縱向最高可到88核 ,儲存容量動態擴充套件,毋須配置。__

得益於儲存與計算分離,我們可以單獨公升級或降級polardb資料庫節點的配置,如果當前伺服器資源不足,還可以快速地遷移到其他伺服器,整個過程只需要5-10分鐘(持續優化中),中間不需要任何的資料搬遷,只是如果涉及到跨機遷移,可能會有幾十秒的連線閃斷(未來,這個影響可以通過polarproxy消除掉,公升級對業務應用完全無影響)。

因為目前同一集群內的所有節點必須繫結公升級,因此我們會採用非常柔和的rolling upgrade滾動公升級的方式,通過控制公升級的節奏、搭配主備切換來進一步減少不可用時間。

由於儲存是共享的,因此可以快速增加節點,而不需要任何的資料copy。整個過程也只需要5-10分鐘(持續優化中),如果是增加節點,對業務應用沒有任何影響,如果是減少節點,那麼僅對落到該節點執行的連線有影響,重練即可。

當增加節點之後,polarproxy可以動態感知並自動加入到讀寫分離後端的讀節點中,對於使用集群訪問位址(讀寫分離位址)連線polardb的應用程式可以立馬享受到更好的效能和吞吐。

polardb的儲存空間不需要關心,用多少付多少錢,每小時自動結算。

對於i/o能力,目前的設計是跟資料庫節點的規格有關係,規格越大,iops和i/o吞吐量越高,在節點上對i/o有隔離和限制,避免多個資料庫集群之間的i/o爭搶。

本質上,資料是被儲存在由大量伺服器構成的儲存池中,由於可靠性要求,每個資料塊複製出3個副本,儲存在不同機架的不同伺服器上。儲存池能夠進行自我管理,動態擴容、平衡,避免儲存碎片和資料熱點。

雙11大考 POLARDB分鐘級彈性讓企業輕鬆擴充套件

polardb優勢解讀系列文章之 分鐘級彈性 儲存與計算分離 我們知道polardb乙個最大的特點是儲存與計算分離,所謂分離就是計算節點 db engine 和儲存節點 db store 在不同的物理伺服器上,任何落地到儲存裝置的i o操作均為網路i o。可能會有人問,走網路,延遲怎麼樣,效能好不好...

實時計算在天貓雙十一大屏中的應用

本文為您介紹實時計算在天貓雙十一大屏業務中的應用。天貓雙十一大屏背後最強大最核心的支援力量來自於阿里雲實時計算。曾經天貓雙十一大屏後台流式計算使用開源的storm來進行開發,整個開發時間長達乙個月。現在使用阿里雲實時計算 sql,將整個雙十一大屏的開發周期縮短到一周,並且由於阿里雲實時計算底層完全遮...

網易嚴選宣布退出今年雙十一大戰 不做複雜優惠玩法

網易嚴選宣布退出今年雙十一 11 月 4 日晚間,網易嚴選官方微博發文宣布退出今年的雙十一大戰。網易嚴選表示,今年雙十一,其不做複雜優惠玩法,但會有全年最大力度補貼 不發戰報,不再為銷售額開慶功會。網易嚴選公告表示,今年 雙11 不做複雜優惠玩法,沒有養貓蓋樓 組隊pk 手勢地圖,但為消費者搞定了全...