雲計算這十年

2021-09-07 09:34:47 字數 4778 閱讀 8354

自2023年肇始,雲計算發展至今已逾10年,在技術和產業領域都取得了巨大進展,成為推動網際網路創新的主要資訊基礎設施。隨著網際網路計算越來越呈現出網路化、泛在化和智慧型化趨勢,人類社會、資訊系統和物理世界正逐漸走向「人-機-物」三元融合,這需要新型計算模式和計算平台的支撐,而雲計算無疑將成為其中代表性的新型計算平台。

雲計算發展回顧——10年3階段

回顧雲計算的發展歷史,2023年可稱為雲計算發展元年。亞馬遜公司利用虛擬化這種經典的系統軟體技術開創了「硬體即服務」商業模式,使得計算資源可以像水電一樣方便地提供給公眾使用,這也標誌著公眾能夠感知到的雲計算時代由此開始。之後的雲計算發展可以分為3個階段:

概念探索期

(2006~2023年) 

雲計算的「硬體即服務」商業模式得到業界和大眾的廣泛認可,各種公有雲產品如雨後春筍般出現,然而,人們對雲計算本質和技術重點的認識卻眾說紛「雲」。產業巨頭、學術界都或多或少地從自身業務的角度來看待雲計算,給出了各自的定義和說法,而每個都有各自的特點和不足。縱觀雲計算的技術重點,大規模計算資源的虛擬化和軟體棧的服務化是主要的使能技術。這期間,硬體資源虛擬化及其管理技術獲得繁榮發展,推動人們對雲的概念和認識不斷深入:kvm於2023年進入linux核心;lxc於2023年發布第一版;vmware於2023年推出vsphere;hyperv於2023年發布,其驅動於2023年提交到linux核心;cloudstack於2023年開源;後來成為私有雲最重要基礎設施的openstack於2023年由nasa和rackspace發起……各種服務模式大量湧現,出現了眾多的xaas概念。不少重要的雲計算技術以開源模式發布,開源逐漸成為雲基礎設施的重要選擇,雲計算的概念逐漸走向清晰。

技術落地期

(2010~2023年) 

出現大量圍繞雲進行的技術實踐和驗證,各方不斷「攻城略地」,以期在商業市場上占領先機。雲計算獲得了飛速發展,並在全球範圍內形成了千億美元規模的市場。2023年,nist發布的雲計算***對雲計算進行了較為權威的定義,基本終結了眾說紛「雲」狀況。xaas沉澱為以iaas、paas和saas為主的3種服務模式;私有雲雖起步較晚,但發展迅速,其熱度已超過公有雲;混合雲成為新的熱點。移動互聯終端的大量出現引發了雲-端融合的新趨勢,進而影響雲計算的部署模式。雲服務和管理的關鍵技術與系統走向成熟,openstack和cloudstack等開源計算平台得到廣泛應用,以openflow為代表的軟體定義網路成為雲服務及管理的重要成分,對涵蓋計算、儲存和網路等全硬體棧資源進行軟體定義成為共識,以應對大量靈活部署虛擬機器的需求。雲資源管理全面走向軟體定義使得雲平台可以對規模化的資源進行高效的管理。

應用繁榮期

(2023年至今) 

伴隨著雲平台的成熟和各式終端裝置的出現,雲計算正進入乙個新的「繁榮發展」時期。其重要標識就是雲計算的重心開始從以提供雲設施為主轉為支撐雲應用為主,如何應對複雜多樣的應用需求成為雲計算重要的關注點,api經濟開始興起。大資料開始成為雲計算的重要應用,據idc報告,2023年基於雲的大資料處理投入增長速度將是基於企業自建解決方案的3倍,2023年所有大資料應用中使用雲平台進行儲存或處理的佔比將達到約40%。面向端裝置的、基於雲的應用將越來越多也越來越專業,雲-端融合將成為雲計算的新常態和新模式,而由軟體平台來支撐雲-端融合將變得越來越靈活。應用繁榮期的雲計算呈現應用領域化、資源泛在化、系統平台化和服務質量綜合提公升的趨勢。

雲計算未來趨勢——「三化一提公升」

未來雲計算的發展趨勢可以用5個字概括:「三化一提公升」,其中「三化」是指應用領域化、資源泛在化和系統平台化,而「一提公升」則指服務質量的提公升。隨著網際網路聯網裝置越來越多,我們正進入乙個「人-機-物」融合、萬物互聯的時代,如何將各種網路資源進行有效管理,如何應對各種各樣的應用需求,從而使得應用支撐和資源之間能夠更好地溝通,是未來雲計算技術需要著重解決的問題。

應用領域化

應用領域化是指面向各個領域、各種應用需求的領域雲和行業雲等將會不斷出現,例如支援電力的雲、醫療的雲和交通的雲等等。隨著雲計算底層支撐技術的日益成熟,雲計算的關注重點將轉移到對上層應用的支撐。面向特定領域需求,提供支撐應用開發和執行的api、解決方案及其一體化環境,以支撐更多雲應用,是雲計算發展面臨的新挑戰。可以預期,領域雲和行業雲等專用雲平台將具有廣闊的空間。

應用領域化的乙個重要技術是具備雲感知能力的軟體服務。早期的資訊系統是緊耦合一體化的,應用自我建設、自我包含,業務處理功能難以分割;軟體即服務(saas)概念的提出催生了soa體系,用於實現松耦合的分布式應用,應用建設依賴於網際網路上的「粗粒度」服務,業務處理功能分散存在於網際網路上;而雲計算的新發展正在催生saas 2.0,各種服務應用充分利用雲提供的api,基於雲所提供的服務或者微服務進行構建,服務應用執行在雲中,同時感知雲環境中各種資源的變化,提供優化的服務質量。

資源泛在化

未來「人-機-物」融合的世界,計算資源廣泛多樣,需要充分發揮各種資源的能力。在移動網際網路的驅動下,雲和智慧型終端開始融合(雲-端融合),未來甚至涉及物聯網節點的融合,新的雲-端融合的雲計算體系架構正在形成,簡單地側重使用某一端資源已經不再適用,按需(動態可變地)使用客戶端和伺服器資源,是雲計算架構發展的又一新趨勢。一方面,客戶端和服務端的軟體資源、硬體資源和能源可以在兩端實現合理分布和應用,兩端的資料和獨特資源也可以實現共享;另一方面,未來的雲將不僅需要支撐現在移動網際網路的智慧型手機和平板電腦等終端,還需要支撐物聯網所承載的各種各樣的聯網裝置,在這樣乙個泛在化網路環境下,面向各種海量新硬體的雲資源管理將會面臨很大的挑戰。

越來越多的新型硬體進入雲平台。在伺服器硬體方面,包括rdma和nvm等新型硬體裝置開始投入應用,諸如機器學習和資料探勘等專用計算架構不斷湧現,各種類腦、神經網路、深度學習等專用晶元也開始上市……如何及時、有效地管理和利用新的硬體裝置和架構,充分發揮其效能,是雲管理平台的一項重要任務。在終端硬體方面,新型的感測器裝置種類繁多且數量巨大,從攝像頭到gps定位,從監測血壓、測量海拔高度到光陀螺儀等等,如此海量的感測器能否在雲平台上實現統一管理,也是新型雲平台將面臨的挑戰。

在資源泛在化的背景下,雲還呈現出多尺度和差異化的現象,公有雲、私有雲和混合雲並存;既有少量規模龐大的大型雲,更有大量的利用已有資源的微小雲;有實體雲,還有基於實體雲的虛擬雲和聯盟雲。未來跨雲計算的需求也將越來越突出,如何跨越多雲為應用提供服務,實現多雲之間的開放協作和深度合作,也是資源泛在化背景下的乙個重要課題。針對多雲協作的問題,我國科學家提出了雲際計算的概念,希望實現雲服務實體之間的開放協作和多方雲資源的深度融合,從而方便使用者和開發者定製雲服務、創造雲價值,這是下一代雲計算研究的乙個代表性嘗試。

系統平台化

雲計算的另乙個重要趨勢是系統平台化,雲計算支撐系統呈現從雲資源管理系統向雲作業系統演化的趨勢。「雲作業系統」的概念現在用得比較多,但均未達到預期的作業系統形態和能力。什麼是作業系統?簡單而言就是向下管理資源,向上提供服務。例如單機作業系統,其基本由兩大功能構成:管理資源和管理作業。目前雲管理系統主要作用是管理雲的資源,以支撐各種應用的執行;未來,其還要管理雲上各種各樣的作業,這一理念和單機作業系統相似,是系統平台化之路共性不斷凝練和沉澱的結果。雲管理系統的共性理念是什麼?我們的理解是:其應包含雲作業系統、單機作業系統、各種各樣的應用容器和中介軟體,以支撐各類雲服務。要實現真正意義上的雲作業系統,需要向下管理所有雲端和終端的資源,向上則對多樣化的資源應用需求提供相應的api服務。

雲作業系統的發展面臨著哪些挑戰?在現階段,需要應對複雜多樣的應用需求,將傳統應用無縫雲化,需要支援基於網際網路的多終端一體互動方式,以及雲內海量異構資源的有效管理等;更進一步則需要向上更好地支撐應用,探索原生雲應用的執行與構造技術,研究開發新型程式設計模型和相關的程式語言,設計雲作業的統一排程和管理機制,進行跨雲和雲際資源的按需整合,實現雲服務的自主協同等。

在整個雲資源的管理與定製方面,軟體定義是乙個重要途徑,通過軟體定義方式可以完成深度定製,以管理各種各樣的資源,包括分布式資源的高效融合、巨量資源彈性調配、極端硬體特性和移動硬體特性的虛擬化、集約化的資源便捷共享、可定製化的系統軟體棧,以及終端和雲端的融合協作等,為從微型虛擬機器、小型虛擬機器到滿足更大需要的巨型虛擬機器提供寬譜系的管理支撐。

服務質量的提公升

服務質量的提公升可以用3個詞概括——更高、更快、更強壯。其中,「高」意味著支援高吞吐,這需要聚合大規模資源、提供海量資料的處理能力,以及實現高吞吐併發訪問。支援高吞吐是很多雲應用的需求,例如阿里巴巴每年「雙十一」的巨量交易、12306**高峰時的巨量訪問,以及其它各種各樣面向大規模社交圈資料的跨地域分布式儲存系統等,都對高吞吐具有很大的需求。

在高吞吐的前提下還要實現「快」響應,也就是在提供高吞吐的同時顯著降低請求的響應時間,提公升使用者體驗與服務質量。這方面的需求在現實中也有很多,據amazon統計,每降低100毫秒延遲可以換來1%銷售額的提高;akamai的研究指出:網頁載入延遲1秒將導致平均7%客戶流失、減少11%網頁訪問量和16%客戶滿意度;增強/虛擬實境(ar/vr)需要在1毫秒內完成場景的構建,等等。基於雲的大量應用形態能否獲得成功或提供高的使用質量,實現快響應就是其中的關鍵。要實現快響應,雲架構和軟體棧的低延遲設計就尤為重要。雲計算應用的延遲主要包括兩個方面:一是網路帶來的延遲,二是雲中心帶來的延遲。按當前統計來看,二者大約各佔50%。應對網路帶來的延遲涉及到頻寬的提公升,也需要資料中心合理的分布,以便使用者可以盡可能訪問就近的資料中心;應對雲中心帶來的延遲則需要對基於分層的雲計算軟體棧進行垂直整合,當前雲軟體棧主要面對高吞吐設計,在低延遲尤其是尾部延遲方面有明顯不足,因此技術上還有很大發展空間。

更「強壯」則體現在更好的可靠和可用性保障。雲計算的規模和複雜度的快速增長要求更為全面的質量保證:首先,資料中心規模不斷增長,規模部署成為事實,高度整合的雲計算環境故障越來越多,故障帶來的損失也越來越大;其次,虛擬化構成的彈性資源池快速增長且組織複雜,增加了管理的複雜度;最後,越來越多的機構計畫採用雲計算平台,持續發展的業務種類導致了需求多樣性。在這種情況下,如何實現高可靠和高可用的雲計算系統成為乙個重大挑戰,當前已有各種技術研發和嘗試,諸如採用非易失性記憶體來提公升記憶體計算中資料的可靠性和可用性、使用分布式ups替代傳統集中式ups以保證電源供給、在系統級支援虛擬機器/容器的狀態同步和動態遷移,以及在應用層次上的資料平行計算和圖平行計算系統和機制等。

雲計算這十年

自2006年肇始,雲計算發展至今已逾10年,在技術和產業領域都取得了巨大進展,成為推動網際網路創新的主要資訊基礎設施。隨著網際網路計算越來越呈現出網路化 泛在化和智慧型化趨勢,人類社會 資訊系統和物理世界正逐漸走向 人 機 物 三元融合,這需要新型計算模式和計算平台的支撐,而雲計算無疑將成為其中代表...

我的這十年

這十年經歷了的還算多,大致做個流水帳 一 家人篇 1 娶妻生子,做了老爸 2 老爸六十歲生日,因經濟夠拮据,沒給什麼錢,一直是心頭的乙個大包 長沙房子裝修 衡陽房子裝修 工作變故 3 04年重建了老家的房子,09年結婚的時候重新裝修了一下,07年買的長沙的房子,09年裝修了長沙的房子 二 朋友篇 1...

阿里雲與天貓雙11這十年

2007年 的交易額突破了400億,技術團隊卻喜憂參半 現有集中式架構已經捉襟見肘,該如何應對?隨即啟動的分布式改造獲得巨大成功,所有的業務都做了模組化。儘管這次技術公升級在現在看來存在諸多侷限性 更多的是為了應對不斷增多的快取,在cdn端對海量的快取做了一些限流操作。但就是這次改造成就了歷史上第乙...