大資料環境下的網路安全挑戰分析

2021-09-23 00:15:41 字數 1822 閱讀 7562

文章講的是大資料環境下的網路安全挑戰分析

大資料架構和平台算是新事物,而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平台的新功能。當今的大資料集群將會與將來我們看到的資料集群有極大不同。適應這種新困難的安全工具也將發生變化。在採用大資料的生命週期中,業界仍處於早期階段,但公司越早開始應對大資料的安全問題,任務就越容易。如果安全成為大資料集**展過程中的一種重要需求,集群就不容易被黑客破壞。此外,公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。

「大資料」一詞常被誤解。事實上,使用頻率太高反而使它幾乎沒有什麼意義了。大資料確實儲存並處理大量的資料集合,但其特性體現遠不止於此。

在著手解決大資料問題時,將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說,大資料現象由三個大趨勢的交集所推動:包含寶貴資訊的大量資料、廉價的計算資源、幾乎免費的分析工具。

如今,有很多特別重視不同資料型別(例如,地理位置資料)的大資料管理系統。這些系統使用多種不同的查詢模式、不同的資料儲存模式、不同的任務管理和協調、不同的資源管理工具。雖然大資料常被描述為「反關係型」的,但這個概念還無法抓住大資料的本質。為了避免效能問題,大資料確實拋棄了許多關係型資料庫的核心功能,卻也沒犯什麼錯誤:有些大資料環境提供關係型結構、業務連續性和結構化查詢處理。

由於傳統的定義無法抓住大資料的本質,我們不妨根據組成大資料環境的關鍵要素思考一下大資料。這些關鍵要素使用了許多分布式的資料儲存和管理節點。這些要素儲存多個資料副本,在多個節點之間將資料變成「碎片」。這意味著在單一節點發生故障時,資料查詢將會轉向處理資源可用的資料。正是這種能夠彼此協作的分布式資料節點集群,可以解決資料管理和資料查詢問題,才使得大資料如此不同。

節點的鬆散聯絡帶來了許多效能優勢,但也帶來了獨特的安全挑戰。大資料資料庫並不使用集中化的「圍牆花園」模式(與「完全開放」的網際網路相對而言,它指的是乙個控制使用者對網頁內容或相關服務進行訪問的環境),內部的資料庫並不隱藏自己而使其它應用程式無法訪問。在這兒沒有「內部的」概念,而大資料並不依賴資料訪問的集中點。大資料將其架構暴露給使用它的應用程式,而客戶端在操作過程中與許多不同的節點進行通訊。

規模、實時性和分布式處理:大資料的本質特徵(使大資料解決超過以前資料管理系統的資料管理和處理需求,例如,在容量、實時性、分布式架構和並行處理等方面)使得保障這些系統的安全更為困難。大資料集群具有開放性和自我組織性,並可以使使用者與多個資料節點同時通訊。驗證哪些資料節點和哪些客戶應當訪問資訊是很困難的。別忘了,大資料的本質屬性意味著新節點自動連線到集群中,共享資料和查詢結果,解決客戶任務。

嵌入式安全:在涉及大資料的瘋狂競賽中,大部分的開發資源都用於改善大資料的可公升級、易用性和分析功能上。只有很少的功能用於增加安全功能。但是,你希望得到嵌入到大資料平台中的安全功能。你希望開發人員在設計和部署階段能夠支援所需要的功能。你希望安全功能就像大資料集群一樣可公升級、高效能、自組織。問題是,開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到hadoop或其它的非關係型資料庫中。多數系統提供最少的安全功能,但不足以包括所有的常見威脅。在很大程度上,你需要自己構建安全策略。

應用程式:面向大資料集群的大多數應用都是web應用。它們利用基於web的技術和無狀態的基於rest的api。雖然全面討論大資料安全的這個問題超出了本文的範圍,但基於web的應用程式和api給這些大資料集群帶來了一種最重大的威脅。在遭受攻擊或破壞後,它們可以提供對大資料集群中所儲存資料的無限制訪問。應用程式安全、使用者訪問管理及授權控制非常重要,與重點保障大資料集群安全的安全措施一樣都不可或缺。

資料安全:儲存在大資料集群中的資料基本上都儲存在檔案中。每乙個客戶端應用都可以維持其自己的包含資料的設計,但這種資料是儲存在大量節點上的。儲存在集群中的資料易於遭受正常檔案容易感染的所有威脅,因而需要對這些檔案進行保護,避免遭受非法的檢視和複製。

大資料技術在網路安全分析的作用

網際網路資訊科技的飛速發展,流動資料越來越多,這些資料有效提高了網際網路的價值,但是隨著海量的資料和資訊的不斷增加,網路安全分析的壓力也越來越大,隨著計算機軟硬體技術的不斷增長和資料傳輸速率的加快,網路安全要想在一定時間內有效地檢索海量資料,就必須提公升對資料採集 處理方面的速度,同時也要確保資料的...

大資料環境下網路安全態勢感知研究

態勢感知是指在特定的時間和空間下,對環境中各元素或物件的覺察 理解以及對未來狀態的 它包含覺 察 資料收集 理解 物件行為及相互影響,以及 基於規則的資訊對映等不同的內容和環節。初期,這一概念主要被應用於工業控制領域,美國空軍通訊與信 息中心的tim bass 在1999 年首次提出將態勢感知技術應...

當網路安全遇上大資料分析(6)

本文繼續亂彈 bda從一般意義上,或者從技術層面可以劃分為資料獲取 資料整理 資料實時分析 資料儲存 資料檢索 資料歷史分析 資料視覺化。而從bda的應用層面,可以應用到網路安全領域,這時候又可以劃分為安全事件管理 apt檢測 到0day 惡意 分析 網路取證分析,到網路異常流量檢測 安全情報分析 ...