安全資訊與事件管理(SIEM)技術解析與發展分析

2021-09-03 05:23:35 字數 3939 閱讀 1248

【updated @ 2018-3-28:修改錯別字,修復原文中失效鏈結】

【摘要】本文首先通過分析siem技術的定義,分類及發展歷史,闡述了安全事件管理、安全資訊管理、日誌管理等技術。然後,本文提及了安全集中管理、安全裝置管理、安全管理平台(soc)技術,並分析了他們與siem之間的歷史和邏輯關係。

1、siem的發展與成因

要說明什麼是siem(security information and event management,安全資訊與事件管理),必須從siem的發展歷史說起。

最早的日誌管理也就是說,儘管都是一種

日誌分析的技術,但是sim和sem關注的分析角度不同,sim重歷史分析,sem重實時分析。

從2023年開始,gartner提出了siem的概念,首次將sim和sem整合到了一起,並對siem進行了mq矩陣的分析。儘管如此,gartner還是在2023年的報告中對sim和sem進行了區分:sim和 sem的最大區別在於採集日誌源的不同。sim關注於主機系統和應用的日誌;而sem則關注於安全裝置,尤其是網路安全裝置的日誌。

——我們可以將這個認定為sim和sem的最新定義。

siem——sim和sem技術的融合

隨著sim和sem的不斷發展演化,目標客戶及其需求的界限越來越模糊,兩者之間的區隔也就越來越小。最後gartner將他們的概念融合到了一起。在融合之後,我們可以借鑑gartner的siem分析報告來給現在的siem乙個描述性定義:

siem為來自企業和組織中所有it資源(包括網路、系統和應用)產生的安全資訊(包括日誌、告警等)進行統一的實時監控、歷史分析,對來自外部的***和內部的違規、誤操作行為進行監控、審計分析、調查取證、出具各種報表報告,實現it資源合規性管理的目標,同時提公升企業和組織的安全運營、威脅管理和應急響應能力

日誌管理(log management)

隨著sox法案的頒布,以及其他各種合規性需求不斷走強,在傳統的日誌管理概念和siem之上又發展了除了新的一代日誌管理(log management, 簡稱lm)技術。這個時期的lm重點強調的是日誌的全部收集、海量儲存、原始日誌的保留,快速檢索分析,借鑑了搜尋引擎的技術。為了提公升事件入庫的速度,放棄了嚴格的事件歸一化,當然,這樣不可避免的加大了後續分析的難度,因而它強調歷史分析,而不是很注重實時分析(效能不行,分析不過來)。但是由於一些新技術的引入,歷史分析比較快。這些技術的發展緣由十分明顯,就是為了滿足客戶的合規性需求。由於這個市場驅動力在北美十分強勁,這些廠商迅速發展,以至於改變了siem的發展格局。

lm和siem的融合

隨著siem技術的不斷發展,當前,siem與lm已經基本沒有本質區別,主要都是在具體的產品規格上有所差異。在2023年的gartner的mq分析報告中,lm已經被整合到siem中去了。

小結綜上所述,目前,我們可以將siem理解為sim、sem和lm三類子技術的集合。他們之間雖然略有差異,產品規格稍有不同,但是基本上都是為了同一類客戶需求,屬於同乙個安全細分市場。

2、siem的發展歷史與市場成熟度分析

正如siem的概念不斷演變一樣,siem的發展也經歷了乙個從興起到失落,再到成熟的發展過程。目前,siem已經進入了成熟期。

siem技術產生後,在2004~2023年間達到了被追捧的最高潮。

如下圖所示,是gartner在2023年繪製的資訊保安hype cycle,其中,可以看到當時siem正處於高潮後的失落期——第三階段。在英文中,gartner hype cycle的第三階段through of disillusionment既有幻滅,也有覺醒的意思。兩者是關聯的。

當然正如所有真正能夠滿足使用者需求的技術一樣,經歷這次陣痛之後的siem技術及其依託siem的soc越發顯示了其生命力。在不斷的質疑和反思中,逐步成熟起來。

根據gartner2023年關於資訊保安的hype cycle曲線分析顯示,全球siem市場趨於成熟,還有不到兩年就將成為業界主流產品,如下圖所示:

相對而言,siem的技術發展(包括概念定義)在國內也基本上經歷了乙個類似的過程,並且一般要落後3年左右。同時,國內siem技術的發展還與soc(security operations center)的發展緊密交織在一起。對於soc的發展成因,將令文論述,其中關於soc最早的起源可以參見文章《

三論soc的起源

》。 3、siem和安全集中管理 

安全集中管理,有的也叫集中安全管理,或者叫安全裝置管理平台,是與siem同期發展起來的乙個技術。從前面的分析我們可以看出,siem技術主要是收集異構的安全日誌和事件,進行分析和預警。那麼,如何對這些異構安全裝置,甚至是it網路環境進行集中的控制呢?這就是安全集中管理要解決的乙個主要問題。乙個安全集中管理平台包括日誌收集分析和策略控制下發兩個部分。公安部有個《安全管理平台檢驗規範》也涉及了這兩個部分。在國際上,也是如此,在2023年之後,與siem技術同級的安全策略管理類技術被稱作企業安全管理(esm)技術。esm技術主要強調了是對安全裝置的統一執行監控、統一策略下發,尤其是要能夠針對異構的安全裝置進行集中管理。

可以說,安全集中管理技術包括了siem和esm兩個部分。

但是,安全集中管理技術的esm分支發展遠遠不如siem分支發展順利。主要原因之一就是安全裝置的策略管理沒有統一標準的介面。checkpoint最早做了這樣的管理系統(provider-1),但是只能管理他自己的防火牆。後來他推出了乙個opsec標準,可惜沒有人理會,未能成為業界的事實工業標準。而那些標準化組織的各種嘗試都不了了之。

esm類產品最典型的代表是solsoft,乙個旨在進行異構安全裝置策略下發的軟體。不過該系統沒有能夠發展起來,後來被多次收購,已經蛻變成為了乙個專有類產品。而esm這個技術名詞也漸漸淡出了歷史舞台,鮮有提及。現在即便有說到esm,也不是指當初那個技術了。在我們早期做的《安全集中管理系統調研報告》中,有這類產品的一些調研分析。

現在的esm主要都是各個安全裝置廠家自有的技術,針對各家自己的安全裝置進行集中監控和策略下發,無法實現異構。

4、從siem和安全集中管理到安全管理平台(soc)

安全管理平台的概念釐清

由於國外soc概念的引入,在國內siem和安全集中管理技術發展的初期就與soc這個概念緊密聯絡在了一起,這是由於國內特殊的需求、市場發展導致的,因而也與國外市場發展軌跡有所不同。在國內,一般都將安全管理平台與soc(security operations center)等價看待。而安全管理平台也有很多稱呼,例如安全管理系統,安全管理中心,安全運維管理,安全運營中心,somc(安全運營管理中心),smp(安全管理平台),安全一體化集中管理平台,等等。他們基本上都是一類技術和產品,都是在siem和安全集中管理技術之上的security operations center(注意:這裡不適合用soc縮寫)的技術支撐平台,我們不妨稱作安全管理平台,簡稱安管平台。換言之,安全管理平台是指安全運營中心(security operations center)的技術支撐平台。不做特殊性說明,一般會將安全管理平台直接稱作soc,請注意並不代表安全管理平台就真的等同於soc,soc不僅包括安全管理平台(技術支撐平台),還包括流程、組織、場所、人員等等多個方面的內容。

由於受到國外soc建設的影響,國內的安管平台所涵蓋的技術領域不僅包括siem技術(事件分析、威脅分析),還有風險管理技術(資產定義、量化風險分析)、運維管理技術(工單流程、知識庫)、安全裝置管理技術(監控、策略下發)。有的大的安管平台還包括了網路管理、業務服務管理(bsm)、應用效能管理(apm)、策略管理、配置管理、變更管理、基線管理、績效管理,等等,這些擴充套件大都屬於it運維管理技術。

安管平台的未來發展

從目前的技術發展趨勢來看,未來的安管平台將會跟網路管理、安全審計、4a、it運維等技術融合,因為他們都有相同的管理技術特性,並且逐步去符合iso20000和iso270000的相關要求。

從使用者需求的角度看,安管平台將逐步去與使用者的業務服務,逐步與業務結合,為實現使用者的it戰略服務。風險,合規,內控,態勢監控,整體安全都是客戶的需求與目標。

做SIEM和安全管理平台,用什麼來儲存事件?

當siem和安管平台面對海量的事件,必須做出選擇,用什麼技術來儲存這些事件?很早,我們就知道關係型資料庫可以做這個事兒。但是,隨著事件量的增大,關係型資料庫越來越不堪重負。於是,人們開始重新思考,有的選擇了直接操作檔案系統,有的開始自己在檔案系統上封裝乙個分布式處理層,還有的開始擁抱nosql,ne...

做SIEM和安全管理平台,用什麼來儲存事件?

當siem和安管平台面對海量的事件,必須做出選擇,用什麼技術來儲存這些事件?很早,我們就知道關係型資料庫可以做這個事兒。但是,隨著事件量的增大,關係型資料庫越來越不堪重負。於是,人們開始重新思考,有的選擇了直接操作檔案系統,有的開始自己在檔案系統上封裝乙個分布式處理層,還有的開始擁抱nosql,ne...

資訊保安第十二講 資訊保安管理技術作業

什麼是資訊保安規劃?資訊保安規劃也稱為資訊保安計畫,它用於在較高的層次上確定乙個組織設計資訊保安的活動,主要內容包括安全策略 安全需求 計畫採用的安全措施 安全責任和規劃執行時間表等內容。什麼是資訊保安風險評估?對資訊保安威脅進行分析和 評估這些威脅對資訊資產造成的影響。資產識別與估價 威脅與脆弱性...