技術和商業的碰撞,談阿里雲與天貓雙11這十年

2021-09-01 11:16:12 字數 3472 閱讀 1772

2023年,發生了兩件看似不起眼的事。

初春剛過,阿里雲在北京一棟沒有暖氣的寫字樓寫下了飛天第一行**。

同年11月11日,****啟動了乙個叫做雙11的**活動。

誰也沒想到,多年以後他們會是現在這模樣。

前傳

2023年**的交易額突破了400億,技術團隊卻喜憂參半:現有集中式架構已經捉襟見肘,該如何應對?

隨即啟動的分布式改造獲得巨大成功,**所有的業務都做了模組化。

儘管這次技術公升級在現在看來存在諸多侷限性:更多的是為了應對不斷增多的快取,在cdn端對海量的快取做了一些限流操作。但就是這次改造成就了歷史上第乙個雙11,2023年雙11當天的流量達到了乙個高峰,在舊的架構體系下,這幾乎是一項不可能完成的任務。

一年後,飛天的第乙個版本上線,僅有幾十台機器的集群開始服務第乙個內部客戶——阿里金融。

這些探索讓所有人看到了乙個趨勢:用分布式的方法將傳統、昂貴的小型機硬體和軟體,替換成通用的x86的伺服器集群,虛擬化等技術可以讓計算能夠按量、隨時被啟動。

流量狂奔:脈衝計算

從計算機誕生到90年代,計算資源都是作為「可計畫性」的資源來使用。無論是探索月球,還是研究基因的奧秘,計算資源本身是可規劃的。然而,網際網路時代的到來,乙個爆發性事件,就有可能挑戰整個計算資源,不確定性如影隨形。

毫無疑問,雙11就是這樣乙個典型場景。

2011雙11的流量洪峰給技術團隊留下了午夜驚魂般難忘的回憶:系統性技術問題,使大量商家可能出現超賣。

事後,這群國內網際網路行業最優秀的技術人開始意識到這已經不僅僅是一場商業**活動,更是一次技術大考。

次年,天貓與阿里雲、萬網宣布聯合推出聚石塔平台,率先以雲計算為「塔基」,為天貓、**平台上的電商及電商服務商提供it基礎設施。

基於阿里雲的ecs雲伺服器、rds雲資料庫、slb負載均衡網路,商家訂單源源不斷的推送到商家平台上,保障了資料的穩定和延續。這是雲計算首次參與雙11,並且實現了191億的交易總額。

飛天的高速成長也給了所有人信心:5年的時間,飛天平台集群規模從1500台到3000臺,2023年8月,單集群超越5000臺,同時支援多集群跨機房計算……

接下來幾年,雲計算逐漸成為這場狂歡節中的基石,到2023年,聚石塔上96%的交易使用了阿里雲。

2023年開始,雙11構建了全球最大的混合雲,將公共雲和專有雲無縫連線。

而這些成果最終成為了全社會的能力:無論是春節在12306搶票,還是在世界盃期間的狂歡,抑或是微博上的明星八卦,脈衝計算的能力在今天已經變成了常態。

資料平台,計算創造價值

2023年前後,「船票論」在網際網路圈極為流行。「船票」成為了人們對於一家公司有沒有未來的判斷依據。至於如何拿到這張船票,彼時都非常模糊。

然而,移動端帶來的海量資料卻是真實存在的,移動端帶來的新需求,也推動了阿里雲大資料平台的發展。

鮮為人知的是,2023年,為了從大資料中分析當前狀況,並**未來的趨勢,阿里就擁有了第乙個大資料倉儲,到2023年,**的業務量與資料量已達到2023年的數千倍,為了讓資料成為生產資料,從底層重構大資料技術就顯得尤為重要。

2023年春,大資料引擎maxcompute的前身sql engine第一版上線,執行在當時30臺機器的飛天集群上。

2023年,飛天團隊開始探索支撐集團內部數倉業務,在1500臺機器上並行執行雲梯2的生產作業,並取得了不輸於hadoop的效能和穩定性成績。

飛天5k專案之後,maxcompute隨之進入5000臺機器和跨機房排程時代,並且可以在377秒完成100tb的排序。

通過maxcompute引擎助力,從2023年雙11開始,千人千面成為常態。現在,這一產品已經成為阿里巴巴的主力計算平台:

l阿里巴巴集團99%的資料儲存以及95%的計算能力使用maxcompute;

l每天有超過500萬個作業在平台上執行;

l2023年雙11,maxcompute單日資料處理超過320pb。

幾年過去,「船票論」煙消雲散,然而大資料平台帶來的價值已顯山露水,通過大資料與人工智慧演算法的結合,maxcompute已成為et大腦最重要的組成部分,et城市大腦自動指揮城市路口訊號燈,並且成功應用於馬來西亞的交通治理;et工業大腦推動工廠取得更好的良品率,致力於幫助製造企業提公升1%的良品率。

從數位化阿里到數位化城市,maxcompute可以承載eb級的資料儲存能力,成為全球首個100tb規模bigbench測試通過的大資料計算平台;在公共雲上覆蓋國內外的十幾個國家和地區,專有雲上部署超過100+套。

史上最大規模的人機協同

資料、計算力、演算法是人工智慧的三大核心要素。飛天在通用計算服務的基礎上,開始探索面向人工智慧的異構計算。

2023年9月12日,阿里雲宣布推出全新一代異構計算加速平台,在行業內第一次覆蓋了包括amd、nvidia的gpu和intel、xilinx的fpga在內的所有6款主流異構例項,提供最高可達75tflops的算力。

 阿里巴巴資料中心機械人「天巡」每天在機房巡邏,能接替運維人員以往30%的重複性工作。

半年後的武漢雲棲大會上,阿里雲首次和合作夥伴一起展出了ai智慧型點單裝置,在沒有任喚醒詞的情況下,客戶以每秒5個字的速度,向一台機器點單,並頻繁更換語句,這台機器對每次對話均作出了精準應答。

現在,這些基礎設施以及商業化的產物正服務於各行各業。

飛天2.0支撐2018全社會的雙11

如果說最初的技術變革是為了解決平台的流量峰值問題,那麼現在新的篇章已經開啟,新技術正在引領商業變革。

今年雙11期間,阿里雲上新增呼叫的彈性計算能力累計超過1000萬核,相當於10座大型資料中心,創造了「脈衝計算」的新紀錄。不僅如此,飛天2.0的新能力全面支撐雙11:

在這些技術底座之上,整個系統應對流量洪峰更加從容,當天交易額達到創紀錄的2135億。

當然,iot的登場則為雙11創造了更大的想象空間。

在消費側,iot技術服務新零售的同時,正在催生新的追蹤經濟。消費者可以檢視進口商品完整的商品溯源實時資訊,確保天貓進口商品安全可溯,遠洋運輸也實時可見。

在製造側,助力天貓品牌服裝廠商數位化接單、下單和備貨,個性化生產、柔性化製造,交期準確率近乎100%;對農業生產、運輸、銷售進行全鏈路公升級。

從線上到線下,從生產製造到物流配送,從國內到海外,阿里雲的技術能力延伸到各行各業。而這只是這些新技術應用的冰山一角,雲與ai、iot的有機融合未來還會產生什麼化學反應?我們拭目以待。

結語

從27個品牌參加成交額不過數千萬元開始,到現在的千億級體量,雙11已經成為乙個未來商業實踐的範本,也是新技術的最大試驗場,這些新技術逐漸變成全社會的基礎能力,撬動一場全球的社會大協作。

技術和商業的碰撞,談阿里雲與天貓雙11這十年

摘要 2009年,發生了兩件看似不起眼的事。初春剛過,阿里雲在北京一棟沒有暖氣的寫字樓寫下了飛天第一行 同年11月11日,啟動了乙個叫做雙11的 活動。誰也沒想到,多年以後他們會是現在這模樣。2009年,發生了兩件看似不起眼的事。初春剛過,阿里雲在北京一棟沒有暖氣的寫字樓寫下了飛天第一行 同年11月...

阿里雲與天貓雙11這十年

2007年 的交易額突破了400億,技術團隊卻喜憂參半 現有集中式架構已經捉襟見肘,該如何應對?隨即啟動的分布式改造獲得巨大成功,所有的業務都做了模組化。儘管這次技術公升級在現在看來存在諸多侷限性 更多的是為了應對不斷增多的快取,在cdn端對海量的快取做了一些限流操作。但就是這次改造成就了歷史上第乙...

雲服務商的技術問題和商業道德問題

前兩天烏雲報了乙個漏洞 如家 漢庭等酒店客戶開房記錄被第三方儲存並因漏洞導致洩露 就個人來說,這種問題可能沒啥影響,因為你可能不住這幾家酒店,而且在兲朝,真要查這些資訊,一般都會通過某些官方渠道,根本不需要這種手段。但是 且不說其它酒店也可能有類似問題,更可怕的是除了酒店以外,其它地方也有可能有類似...