Storm業務功能

監控平台當前使用storm

對日誌進行流式分析計算，用於支撐監控資料清洗，後來逐漸在

storm

對storm

1. 正常業務資料清洗

該功能是

mng系統最基本功能，也是最早搭建起來的，其目的是從日誌中清洗出具有業務監控含義的資料，當前監控平台絕大多數資料均是通過該功能進行資料清洗，該功能的整體流程圖如下：

資料清洗流程為：從源節點採集日誌資料進入到mng-storm系統，資料流向

split

節點並在

split

節點完成日誌記錄的分割，隨後資料進入

count

節點進行業務資料的統計和計算，計算完成後，在

sum節點進行資料的彙總和落地到

hbase

。後續章節會詳細介紹各節點的功能及實現。

該功能的出現是因為在實際業務監控中，某些日誌由於業務系統的限制，無法列印完整的日誌資訊，如當面付

sdk資料清洗過程復用split,count,sum

節點功能，但在

split

節點和count

3. 明細資料

該功能較為簡單，將日誌資訊進行簡單的過濾後儲存下來，提供給mng系統讀取，通過資料儲存落地的方式打破兩個系統之間之間的隔閡。該功能的出現是因為早期mng-storm系統在未進行水平拆分和垂直拆分之前，功能相對薄弱，當需要進行資料離線關聯時，會有大量讀取

hbase

操作，會導致資料處理延時甚至積壓。因此為實現較為耗時的資料關聯功能，先通過

storm

系統將日誌明細落地，由mng負責讀取相關明細資料，並通過時間片排程任務的方式將資料分散到mng各機器上處理，減輕單機節點壓力，通過該種方案監控平台實現了餘額寶使用者屬性分析，2014

年雙十二線下交易及使用者分析功能。

該功能在storm

上較為簡單，

split

處理完資料後，傳送到

detail

節點，detail

節點進行進行資料的處理及落地。在明細資料處理詳細介紹中會介紹平台如何結合兩個系統共同實現複雜關聯的實現，在早期

storm

功能沒那麼強大的時候，該方案極其巧妙的解決了離線關聯這一高難度問題。

4. 日誌分析

日誌分析功能同樣是將日誌資料落地，但該功能主要是將日誌原始資料落地，同時根據交易號和

pid等資訊作為索引，通過交易號和

pid在前端頁面輸入即能查到相關的原始日誌資訊，便於相關人員排查問題。

功能顯而易見，在loganalyse

節點進行索引處理及原始日誌落地。

5. 離線關聯

明細資料功能的實現雖然完美的解決了離線資料關聯的問題，但也有其缺點：資料處理鏈路過長；系統延時較高；

tt資料來源有延時的時候，無法自動恢復資料。隨著

mng系統垂直拆分和水平拆分功能後，當前系統已經具備在

storm

系統上實現離線資料關聯的能力。

系統在split

節點和count

節點之前新增乙個節點用於離線關聯，在

offline

節點實現資料與離線資料的關聯。

總結本節概括介紹當前

mng系統所涵蓋的基本功能，及其鏈路實現，後續會陸續介紹各部分功能的實現以及

storm

應用中的一些通用性的問題。

Storm業務功能

監控平台當前使用storm 對日誌進行流式分析計算，用於支撐監控資料清洗，後來逐漸在 storm 對storm 1.正常業務資料清洗 該功能是 mng系統最基本功能，也是最早搭建起來的，其目的是從日誌中清洗出具有業務監控含義的資料，當前監控平台絕大多數資料均是通過該功能進行資料清洗，該功能的整體流程...

Storm概念學習系列之storm的功能和三大應用

不多說，直接上乾貨！storm的功能 下面介紹storm 的三大主要應用 1 流處理 stream processing storm 可用來實時處理新資料和更新資料庫，兼具容錯性和可擴充套件性，即 storm 可以用來處理源源不斷流進來的訊息，處理之後將結果寫入某個儲存中。2 持續計算 contin...

功能測試框架BbC SIP業務

最近想對bbc sip業務的功能測試要點做一下總結歸納,接下來將從介面測試 友好性測試 易用性測試 功能測試 容錯測試 探索性測試 相容性測試進行介紹。一.介面測試 二.友好性測試 三.易用性測試 四.功能測試 模糊搜尋和全部搜尋是否顯示相應搜尋內容 實時搜尋頁面的搜尋列表是否過大，導致螢幕顯示異常...