雲時代架構之菜鳥彈性排程系統的架構設計

2022-08-01 05:33:11 字數 1103 閱讀 7909

還有就是以往的模式下,乙個應用分組的擴縮容操作頻率很低,這使估算業務流量時,需要以每天的峰值流量以及未來一段時間(通常以月為單位)內業務的發展情況來作為評估標準。而一般峰值流量出現時段可能只佔全天時間的一小部分,非峰值時段就出現大量的資源浪費。

之後菜鳥便引入了菜鳥方舟,菜鳥方舟是面向菜鳥所有研發的資源管理和運維平台,負責對菜鳥的基礎設施資源進行管控,以支撐日常和大促的資源需求。彈性排程是菜鳥方舟的乙個重要組成部分,也是方舟的乙個重要的功能特性。通過彈性排程,能夠使應用在業務壓力上公升時及時擴充資源,而在業務壓力下降時對資源進行釋放,從而實現在保證穩定性的前提下盡可能地提公升資源使用效率。在未來引入離線任務進行混部,或者細粒度資源計價方式後,這種模式將會大幅度降低菜鳥整體it成本。

不僅如此,菜鳥彈性排程所期望覆蓋的應用範圍是菜鳥所有的無狀態核心應用,這些核心應用所涉及的業務鏈路、邏輯特性、資源傾向性、業務流量特性等都存在非常大的差異性,很難抽象出一種通用的業務模式來描述這些應用。因此,不同於針對某個特定的業務域的彈性排程,菜鳥彈性排程在進行設計時不能進行過多的業務假設,在設計排程演算法和策略模式時必須考慮到足夠的通用性;在配置上需要給予使用者充分的個性化能力以應對不同的業務場景;在系統結構設計時,需要考慮到策略橫向擴充套件能力,當有新的特殊業務場景出現時,能夠進行快速線性擴充套件。

截止到目前為止,菜鳥已經基本實現了對容器數量15臺以上(接入前)的無狀態應用分組進行彈性接入,接入應用分組的整體全天

cpu平均使用率達到

20%以上(計算方法為取分組

cpu使用率與分組容器數的加權平均值)。每天擴縮容總容器數在

3000

臺以上。在

2017

年雙十一時,彈性排程作為輔助手段從11月

12日0點起對部分應用分組進行縮容,使菜鳥占用物理

cpu核數與包裹數的比例得到顯著下降。

在閱讀了菜鳥方舟的彈性排程的架構設計之後,我們可以看出,菜鳥通過彈性排程解決了菜鳥整體資源使用率較低的問題,而該彈性排程之所以能在菜鳥站穩腳跟,在我看來其根本原因是菜鳥採用決定系統是協調商家的業務特點

以及其完成了資源管理從「面向機器」到「面向應用」的轉變,這些都為彈性排程的落地創造了充分的技術基礎。

但是方舟的彈性排程還處於乙個發展成長的過程中,對於一些應用的排程效果還要進行進一步的提公升。

雲時代架構之360推薦系統架構演進

由 amazon 發揚光大的。推薦系統也是現在熱門的人工智慧分支之一,但凡人工智慧類的落地,都需要具備這幾個基本元素才行 資料 演算法 場景 計算力。推薦系統也不例外,而剛好,現在的時代,這些元素的獲得成本相比十年前已經小了很多。未來隨著各種硬體裝置越來越智慧型,萬物互聯得越來越緊密,人們的個性化需...

智慧型 彈性 易用 雲時代的負載均衡之道

隨著雲計算技術的逐步落地,sdn和nfv正在重構雲資料中心網路,軟硬體解耦成為趨勢。這讓負載均衡技術的發展也呈現出一些新的變化。作為國內最早在雲計算領域進行探索的負載均衡廠商,弘積科技參與了許多大型企業雲資料中心專案的建設。弘積科技cto高春華指出,傳統的硬體負載均衡需要購買昂貴的硬體裝置,部署困難...

系統分析與設計 架構建模 雲時代的架構實踐

1 描述軟體架構與框架之間的區別與聯絡 軟體架構 指軟體體系結構,它一般包括三個部分 構件,用於描述計算 聯結器,用於描述構件的連線部分 配置,將構件和聯結器組成乙個有機整體。軟體框架 是面向某領域 包括業務領域 計算領域 的可復用的 半成品 它實現了該領域的共性部分,並提供了一系列良好的可變點以保...