Apache Metron晉公升頂級專案

2021-10-01 01:14:13 字數 917 閱讀 1393

hortonworks和apache宣布metron正式晉公升為頂級專案。metron是一種多功能的安全遙測資料捕獲、流分析和威脅響應平台,代表了安全資料平台的最新發展水平。該專案最早可溯源至cisco的開源大資料系統安全框架專案opensoc。metron提供的功能包括:日誌的聚合、對網路包全面捕獲的索引和儲存、高階行為分析及資料濃縮,並可以將當前的威脅情報資訊應用到安全遙測中。metron在同一平台中整合實現了所有的這些功能。

metron從概念上可劃分為四個元件:資料捕獲與攝取、實時資料處理、受保證的資料持久化和儲存、用於驅動監控和風險報警服務的機器學習模型。

資料捕獲元件實現將遙測資料發布到metron的訊息匯流排上,進而持久化或經由storm進行實時處理到hbase中。metron對**獲的資料提供了多種方法建立搜尋索引和進行實時與近實時處理。metron提供了資料介面,使得hbase可根據情況與elasticsearch、lucene和solr進行介面。metron預設提供的系統管理和儀錶盤介面是基於kibana構建的。

metron具有一些不同於新興資料流水線標準的特徵。首先,metron是通過stellar與一系列的資料轉換功能和api進行整合的。stellar是一種威脅情報分離和場轉換語言,通過metron的restful模型即服務(maas,modeling-as-a-service)功能進行部署和執行。maas功能使用yarn管理,設計實現為一種實時或近實時的威脅檢測和響應機制。其次,資料濃縮工具集提供了管理和載入各種資料濃縮和威脅情報源到metron的hbase資料接收器的功能。通過maas部署的機器學習模型,metron實現了對資料濃縮步驟的增強。最後一點,metron提供了一系列的分析工具。當實時和近實時的遙測資料進入資料匯流排以及在hbase中持久化時,分析工具實現了執行特性抽取和擷取資料視窗的機制。

該apache專案由owen o'malley領導,最早正是他負責將opensoc專案遷移為metron專案。

述職晉公升經驗

述職是將自己的自身 團隊的成長,業務的產出呈現出來的形式。我的方法 背景 挑戰 目標 解決方案 結果 收穫 方 其他方法 star原則 star smart,低級別效果較好。注意點不能只說業務,不提技術。應該出一些技術流程圖 元件組 架構圖,一些技術優化專案給出優化對比圖。做有積累的事情。高階別一定...

建立完善的員工晉公升機制 員工晉公升機制 完

員工晉公升機制 完 為加強公司人才梯隊建設,建立規範的 能者上,平著讓,庸者下 的用人 機制,充分調動員工的主動性和積極性,達到發現人才 培養人才 留住人才的 目的,並在公司內部營造公平 公正 公開的競爭機制,制定本機制。一 員工職業發展通道 我們了解員工的滿足感不僅僅來自職級的上公升和工資的上調,...

Facebook的內部晉公升

黃易山 建設一家健康長久的公司,從公司內部提拔管理者 是一條廣為人知的建議。這條建議也同樣適用於規模較小 發展迅速的創業公司。內部晉公升的困難 對於超速發展的創業公司來說,秉持內部晉公升的方針既非常有必要,同時又非常困難,具體有以下幾個原因。從外部招聘的弊端 儘管內部晉公升存在上述困難,但從外部招聘...