某故障管理平台架構

2021-09-12 06:23:08 字數 456 閱讀 7822

elkb相關技術不再贅述。

1.故障引擎

故障引擎基於spark streaming進行實現,實時拉取kafka中資料進行處理,比對規則圖譜資料,對發現的問題進行告警。

告警資料儲存在圖資料庫neo4j中。

2.規則提取

日誌資料儲存在es,hdfs中,通過spark core,spark mlib對日誌進行統計,聚類,分類處理,獲得規則模型。

解決方案資料儲存在圖資料庫或文字中,通過spark mlib進行相關性分析,優化規則模型。

規則模型儲存在圖資料庫neo4j中。

3.圖資料庫儲存方案

推送平台架構

由於cc部門沒有乙個公共的推送平台,各個業務之間推送手機訊息會非常費勁,而且沿用了pc架構的侷限性,只有使用者建立連線到伺服器才會收到各種訊息,在當今移動為王的環境,如果使用者的手機進入了休眠或者退出應用之後就不能接收訊息的話,是非常被動非常滯後的。因此,乙個公共的推送平台就出現了。簡單解釋一下各個...

SOA平台架構解析

大家看到圖可能有點暈了,不怕現在我們一起梳理一下 從上面的圖,我們可以看出阿里巴巴將我們的應用進行了拆分 分成了服務提供者 provider 和服務消費者 consumer 註冊中心專心做自己的註冊工作並暴露服務位址 監控中心進行對服務呼叫的情況進行統計,分別用圖形的形式展現出來。具體乙個服務的呼叫...

大資料平台架構

大資料架構分為 資料採集,傳輸,儲存,排程和處理這五個部分.其中任務定期執行和任務分配,分別使用azkaban和zookeeper,大資料平台整體架構如圖1所示,由圖1可知,大資料平台的基礎是伺服器 硬體 所有計算機相關的服務均是基於伺服器 或主機 伺服器是一切服務和資料的根本,用於儲存 通訊 提供...