1 系統日誌和事件的挖掘 目的和系統架構

2022-04-30 16:42:09 字數 896 閱讀 1568

自動化計算包括計算系統的self-configuring(自動配置)、self-healing(自動修復)、self-optimizing(自動優化)、sekf-protection(自動保護),能夠幫助企業節約大量系統管理成本。

系統日誌是記錄生產裝置執行過程中產生的記錄資料,記錄了作業系統執行狀態中的各種異常事件,錯誤以及軟體設定的更改。系統日誌和事件的挖掘,是實現自動化計算的基礎和關鍵。

一.目的

1.系統問題診斷

problem determination指的是判定系統是否發生故障和故障發生的原因。系統故障的發生通常具有互相依賴性和傳遞性,找出故障的根源叫做故障根源分析root cause analysis。

2.除錯和優化

用於除錯的日誌大都是軟體開發人員主動嵌入日誌,生成**,然後通過生成的日誌來分析和揣測bug出現的原因。

優化軟體的目標是找出待優化程式的瓶頸所在。要找出瓶頸,常見的手段就是在待優化程式**中主動嵌入可追蹤的日誌產生**。然後優化軟體通過分析執行生成的日誌,跟蹤到待優化程式的每個執行函式消耗的執行時間及記憶體等引數,從而找到瓶頸。

3.系統安全維護

日誌分析常被用於被動攻擊的分析和防禦中。通過日誌資料的分析,可以斷定和尋找攻擊源,從而找到有效的抵禦措施。如dos攻擊

一些病毒防禦軟體通過分析應用程式呼叫作業系統的api歷史紀錄來分析其行為是否正常,從而判定該應用程式是否是virus或者worm.

二.系統架構

主要分為三個部分

1.日誌資料的收集和預處理

2.歷史日誌資料儲存

3.日誌時間資料的分析和結果展示及應用

包括實時分析和離線分析兩種。通常基於資料探勘的方法都是針對海量歷史資料進行離線分析,然後將建立的模型用於實時的日誌分析。

2 系統日誌和事件的挖掘 系統日誌的資料形式

系統日誌和事件的資料儲存形式主要有兩類 無結構的日誌資料 結構化或者半結構化的日誌事件資料。1.無結構的日誌資料 每條日誌或者時間都是以一條文字記錄或者短文的形式儲存在日誌檔案中,如常見的日誌檔案 linux日誌 apache伺服器日誌 hadoop日誌等的日誌資料都是記錄在乙個純文字日誌檔案中。整...

工廠安燈系統的目的和意義

工廠安燈 系統現在應用行業應用越來越廣泛,不單單侷限於汽車行業,更多生產型企業意識到了提高工作效率的重要性,提高工作效率根本的能提高生產水平,提高產量,而且安燈 系統不是還能大大的幫助提高產品質量,讓工廠車間裡的異常情況快速的暴露,快速的解決,他是構建智慧型工廠的基本形式轉化,是管理者的有力工具。工...

系統架構系列(二) 系統架構的目的 難點和方法

在本系列的第一篇文章中已經給出系統架構的公式定義 系統架構 要素 連線 解決特定的問題,本篇文章重點討論應對系統架構的方法。如今,系統架構在業內還沒有定型的固定方法,一般會講 需求分析 系統分析與設計 uml 領域建模 設計模式 軟體工程等,筆者不打算這樣講,這樣下來會有厚厚一本書,希望從簡潔 可落...