資料規模惱同程,混合雲飄來除雜症

2021-09-23 17:37:30 字數 2057 閱讀 8505

10月13日2016杭州雲棲大會拉開帷幕,電商專場的同程旅遊首席架構師王曉波帶來了「同程帶您雲端翱翔」的重要演講。本次分享對同程旅遊進行了簡要介紹,接著分享了同程旅遊的資料驅動歷程,最後著重講述了在雲端時代的同程旅遊,包括公有雲和私有雲的混合打通等。精彩不容錯過——

以下內容根據演講ppt及現場分享整理:

發現旅遊之美

旅遊是件很美的事情,怎樣保證使用者找到的是旅遊佳地呢?同程旅遊就是為了讓使用者更好的去旅遊,其在中國景點門票預訂市場和郵輪領域處於領先位置,並積極布局境外遊、國內遊、周邊遊等業務板塊。同程旅遊旗下運營同程旅遊網(www.ly.com)和同程旅遊手機客戶端, 2023年服務人次將達到3.5億,年均增長300%,讓更多人享受旅遊的樂趣是同程旅遊的使命。

資料驅動的同程旅遊

初期時代

移動時代

資料時代

此外,資料驅動了使用者畫像,同程的使用者畫像是根據時間、人物以及當前情況定製的使用者畫像;資料也驅動了產品的選品,訂單的**;資料還驅動了安全風控、防黃牛黨、研發運維,用技術驅動技術,由被動轉主動,用資料告訴大家什麼才是好的,解決在業務型網際網路公司技術的驅動率。

同程資料驅動背後的資料規模也很龐大,有5000+伺服器,2w+容器,應用3000多個,pv20億左右,日均報錯3w多,其中60%通過大資料應用平台自癒,日均攔截惡意訪問也有10w+。

同程旅遊雲端時代

解決基礎問題

十年前,同程只是乙個簡單的**架構,效能瓶頸頻發,沒有任何運維,更別提伸縮性了。

但是現在,同程已經不再簡單,各種應用增加3000多個,每天數億級的請求量,原來很簡單的一句sql,現在已經沒法用了,伺服器也已經加到無法再加,運維也是問題百出。系統越來越複雜,基礎設施難度越來越大。

從小系統到大系統長大是乙個必須經歷的過程,於是,我們做出了改變。

應用系統有很多,業務發展也很快,我們進行了分層處理。先解決基礎問題,我們需要乙個雲解決基礎設施的困難,需要一些一流水準的中介軟體,需要乙個經驗豐富的運維團隊;再解決業務問題,將業務微服務化,將資料庫變成資料平台,將原完全.net向多語言發展,建立技術體系。

環境

我們部署了大量的docker容器、輕量化的kvm,同時還有直接物理的部署(在私雲中有部分部署不需要虛擬化會更好;我們的負載區伺服器和大部分的資料庫)。

快取

我們在快取上也做出了改變,多個小集群+單節點組成乙個雲,以場景劃分集群,實時平衡排程資料,動態擴容縮容。

資料庫

資料庫是海量流量系統平台核心命門之一,資料庫的熱備機比較多但一些非核心庫訪問量很低。

運維

雖然做了很大的改變,但問題依然存在。基礎成功雲化後提供了基礎雲服務但說到實處也不過提供一堆可部署應用的機器;應用系統的擴充套件,速度開發,重用性等等也有很多問題;應用系統的故障依然很大。此外,還有彈性擴容的問題,以及新技術(語音識別)的支撐問題。

用雲來支撐整個技術基礎體系

公有雲是創新驅動首選,我們使用了阿里雲等雲服務,實現了快速擴容,基礎產品豐富可靠,安全也有了保障。

我們對公有雲和私雲進行全面打通,讓我們的基礎設施能夠涵蓋到私有和公有。我們在阿里雲上部署了12個機械人,他們每天會向系統回報做了什麼。

韻達混合雲 Docker助力大規模雲上排程實踐

在2016杭州雲棲大會第二日,韻達快運集團高階總監張磊在智慧型物流專場分享了 大資料在物流行業應用突破 大規模雲上排程實踐 他主要從韻達上雲過程 雲上資源排程實踐 未來發展三個方面進行了分享,詳細介紹了韻達上雲的過程和經驗,以及docker技術的實踐。以下內容根據演講ppt及現場分享整理。上圖是韻達...

混合雲部署MySQL集群 資料庫混合雲解決方案

核心產品 hdmhdm hybrid cloud database management 是混合雲資料庫管理平台,可打通混合雲資料庫架構,提供雲下 雲上多環境統一管理,使用者通過hdm可一鍵快速彈性擴充套件 容災切換,操作更便捷。hdm的核心元件之一dbgateway可實現各種型別 多種環境下資料庫...

雲無邊界,阿里雲混合雲資料同步發布

針對不同資料庫間資料實時同步難的問題,日前,阿里雲宣布推出混合雲資料同步一站式解決方案,便於廣大雲產品使用者實現實時資料同步的混合雲支援,更為方便的是,該功能讓本地oracle也能實現與雲上資料庫的實時同步。目前,很多使用者有云下或其他廠商的oracle mysql到阿里雲rds或ecs自建資料庫間...