網際網路企業伺服器資源的分配與利用

2021-08-13 03:24:22 字數 1148 閱讀 5630

機緣巧合, 有幸在科大校園聽了京東集團副總裁、京東**總架構師劉海峰校友作的關於大規模分布式系統在京東的狀況和解決方案。他從資料中心作業系統、中介軟體系統、資料庫,儲存與計算系統、系統與智慧型應用、**整體架構公升級五個方面,系統層次的介紹了京東的硬體的架構與管理。對於如何解決硬體伺服器資源的不足的問題上, 讓我印象深刻和觸發我思考應該就是三個關鍵字:超賣、混搭和智慧型。

京東基於以上的思想以及一系列的平台方案,輕鬆、成功地應對了2017的618大促活動, 在2023年,資源的部分給整個公司節省了2億人民幣的成本,以收入減成本的公司來運算,這2億就是增加的淨利潤了。接下來,京東還會從廣度和深度繼續進行改進, 甚至包含對伺服器的用電節約的優化, 他們的目標是每年節省10億人民幣的成本。

其實京東在伺服器資源的這三方面思想聽起來都很容易理解,但是每一項在真正的實際運用中包含著巨大的工作量和較高的難度。超賣要解決作業系統資源顯示的偽裝,混搭要解決資源的動態分配等,而智慧型需要面對的問題就更複雜了, 大資料的收集、讀取以及相關ai演算法的選擇和模型的搭建。

聯合自己所在公司的狀況, 可能也是絕大多數網際網路企業的狀況。伺服器、空間、cpu、memory這些資源作為服務執行的平台,各個服務的維護者希望是越大越好,多多益善。無間斷提供服務已是乙個最基本的目標,而系統的使用總是有峰有谷的,基於此每個維護者都是按照峰值來進行伺服器資源配置的申請,而且在這個峰值的基礎上在預留buffer,甚至double一下。有的服務甚至不去考慮資源的使用狀況, 直接頂配申請。好像伺服器配置不夠規則,相關的服務的檔次就不高, 沒有技術含量。而實際使用中, 往往是很多資源都處於閒置和浪費。沒有人來監控、也沒有人來優化。伺服器資源的成本增長遠遠大於公司的業務增長。

如果將伺服器本身的效能公升級作為技術的話, 這裡討論的其實都是管理問題。如何合理有效的管理和分配伺服器資源?

超賣通俗的解釋就是你問我申請多少資源, 我給你多少資源, 但實際上這些資源是打過折的, 只不過申請人感覺不出來。舉例來說, 有乙個部門因為某個專案或是服務的需求申請乙個8核 cpu、4g記憶體 、 100g硬碟的資源,好, 那我給你,而且你看到的配置似乎也是這樣的, 但是實際上或許配置都折半。這裡,你可能有疑問,我自己使用命令列或是資源管理器看一下不就知道了嗎? 這裡就需要對作業系統做一些改動,最好可以是基於linux定製自己的作業系統。

智慧型則是使用大資料和ai相關的技術,達到對資源更合理的分配。ai包含的內容就太多了, 留待以後再來討論吧 。

網際網路與網際網路的區別

網際網路的英文單詞是 internet,網際網路的英文單詞是 internet。在英語中,專有名詞首字母都是大寫,用於特指某一事物。大寫的 internet 是作為乙個專有名詞出現的,所指的是由阿帕網發展而來的現如今全球最大的計算機網路,稱之為網際網路。小寫 internet 是作為乙個普通單詞出現...

網際網路企業格局

字型大小 ttt 全面開放 實現共贏共利 6大能力中街景地圖 實時定位 興趣點檢索 出行服務 地理編碼產生了龐大的資料量,開發者通過對資料的挖掘可得到使用者行為軌跡 興趣模型 行為取向等極具價值的資訊。lbs雲則解決了這些資料的儲存維護 檢索以及管理等難題,體現了營銷入口的價值。android io...

網際網路企業的成長曲線(一) 網際網路企業的成長規律

最近看了 商學院 2006年9 月號 上的一篇文章,題目是 ebay 1999年6 月 來的發展道路,文章主要分析了易趣的發展路線圖,易趣國際化過程中出現的困難 1 1 2 以及未來的發展路線 大賣家 vs大買家 文章本身並無特色,但是附錄的復旦大學蔣青雲教授的點評給我印象很深,他分別從易趣和阿里巴...