世界盃直播背後的實時日誌分析

2021-09-20 05:29:25 字數 2127 閱讀 5833

首先,介紹一下世界盃直播,簡化的資料流向:

cdn實時日誌系統,通常有以下幾部分構成:

資料清洗:日誌採集後,對資料進行清洗,以滿足不同場景的處理需求(如,對不同網域名稱日誌的定製化分析)。

資料處理和儲存 : 對於不同的應用場景,資料的處理和儲存方式也不盡相同 :

從整個架構上來說,整個cdn日誌分析涉及的環節多,對服務質量也有嚴苛的要求,依賴的各系統也足夠龐大,技術挑戰大:

從上面介紹的整套cdn日誌分析流程中,使用依賴多套子系統,任意乙個系統要做好都不是一件容易的事情,需要投入大量的時間和資源。而對於使用者來說,對於cdn日誌也有資料實時、離線的分析的需求,我們先看看普通cdn使用者在滿足這方面需求上有哪些困境:

多種分析需求:為了解決各類定製化的分析需求,通常的做法是搭建和運維開源系統,如,用於做資料通道的kafka、流式分析的storm或flink、做資料分析的spark、hadoop等。

視覺化需求: 對於最終的分析結果的展示,依賴資料庫(結果集小)、hbase(結果集大)儲存結果,再通過對接各視覺化工具來完成。

從上面的介紹來看,對於普通使用者,要對cdn日誌進行實時、離線分析真不是一件簡單的事情,搭建、運維和管理哥依賴系統本身就不是一件容易的事情,為了完成需求,有時還需要編寫不少**,但最終並不一定能得到很好的效果(如資料延時問題不能解決)。那有沒有更好的解決辦法麼?

阿里雲日誌服務和cdn,將於9月推出cdn日誌實時分析一站式解決方案,cdn日誌產生後,在小於60秒的時間內,直接投遞至阿里雲日誌服務,之後,直接使用日誌服務提供的實時、互動式分析和報表展示功能,對cdn日誌進行實時分析,大大簡化整個流程。

在介紹該方案之前,先簡單介紹一下日誌服務,我們希望日誌服務能夠讓使用者遠離日誌分析中的各類繁雜「瑣事」,更加專注於和業務更緊密、更有價值的資料「分析」上。日誌服務提供主要3個功能:

接下來,我們介紹一下在直播場景下,cdn日誌實時投遞只日誌服務之後,可以做哪些典型的實時分析:

直播推流資料非常重要,當有了直播推流的日誌之後,可掌控推流端各種實時狀態:

下圖是直播推流的各項監控統計,從整體的推流質量上來看,99%以上的推流都是正常的,說明推流的質量非常好。

下表統計了各類錯誤的產生原因,可以看到最大的錯誤**是客戶端主動斷開。

多維度分析:

錯誤診斷:

在下圖中,可以看到,絕大部分錯誤,都是發生在這個客戶端版本,就需要懷疑是不是新的版本發布帶來的呢?

使用者的訪問行為,最終可體現在日誌上,通過日誌的分析,了解到使用者是如何進行訪問的,哪些資源是熱門資源,通過使用者的**,更清楚了解使用者**,以後的運營推廣也可以更具有針對性,除此之外,對異常ip進行監控,可更早發現異常,如高頻訪問的ip,是否存在爬取資料的嫌疑。

當系統出現報警或有使用者投訴的情況下,通用的處理流程往往是相似的:

另外,我們也提供了乙個demo,可以實際體驗一下mock的cdn日誌分析:

demo連線

俄羅斯世界盃直播背後的技術趨勢

2018年俄羅斯世界盃已經結束乙個多月,你是否還記得 世界盃直播時的熱血沸騰?我們能即時流暢地 這些精彩的賽事,肯定少不了強有力的技術保障和穩定的網路支援。在本屆俄羅斯世界盃賽事直播背後有哪些技術趨勢?akamai中國區 事業部總經理張軻近期向記者分享了akamai從本屆世界盃直播觀測到的一些趨勢。...

俄羅斯世界盃直播背後的技術趨勢

2018年俄羅斯世界盃已經結束乙個多月,你是否還記得 世界盃直播時的熱血沸騰?我們能即時流暢地 這些精彩的賽事,肯定少不了強有力的技術保障和穩定的網路支援。在本屆俄羅斯世界盃賽事直播背後有哪些技術趨勢?akamai中國區 事業部總經理張軻近期向記者分享了akamai從本屆世界盃直播觀測到的一些趨勢。...

俄羅斯世界盃直播背後的技術趨勢

2018年俄羅斯世界盃已經結束乙個多月,你是否還記得 世界盃直播時的熱血沸騰?我們能即時流暢地 這些精彩的賽事,肯定少不了強有力的技術保障和穩定的網路支援。在本屆俄羅斯世界盃賽事直播背後有哪些技術趨勢?akamai中國區 事業部總經理張軻近期向記者分享了akamai從本屆世界盃直播觀測到的一些趨勢。...