Hadoop伺服器配置不當 造成5PB資料洩露

2021-09-23 11:57:29 字數 920 閱讀 1594

根據john matherly的說法,不適當地配置hdfs伺服器——主要是hadoop安裝——將會洩露超過5pb的資訊。john matherly是用於發現網際網路裝置的搜尋引擎shodan的創始人。

這位專家說,他發現了4487個hdfs伺服器例項,這些伺服器可通過公共ip位址獲得,而且不需要身份驗證。這些伺服器總共洩露了超過5120tb的資料。

▲hdfs系統洩露地圖

據matherly說,47820個mongodb伺服器只洩露了25 tb的資料。從這個角度來看,與mongodb伺服器相比,hdfs伺服器洩露的資料要多200倍,而與此同時,mongodb伺服器的數量是後者的10倍。binary edge於2023年公布的乙份報告顯示,在當時,redis、mongodb、memcached和elasticsearch伺服器的資料只洩露了1.1 pb的資料。

大多數hdfs系統位於美國和中國

洩露最多hdfs例項的國家是美國和中國,但這並不奇怪,因為這兩個國家擁有世界上超過50%的資料中心。

今年早些時候,攻擊者意識到他們可以接管為受保護的伺服器,在網路上洩露、竊取他們的內容,請要求贖金。黑客攻擊首先針對的是mongodb,但很快就轉移到了couchdb和hadoop。

最初的時候,有124個伺服器遭受勒索,這個數字最近增長到了500個。根據matherly的說法,仍然有207個基於hdfs的集群有贖金要求,不過我們不清楚這些是不是今年1月襲擊的遺留問題,還是現下仍然有伺服器正被劫持。

hdfs支援hadoop分布式檔案系統,這是乙個可以在基於雲的伺服器上執行的分布式檔案系統。它是apache hadoop的核心技術,但它也部署了自定**決方案。hdfs系統通常位於雲託管環境中,用於儲存和處理大量的使用者資料。

Hadoop配置歷史伺服器

配置歷史伺服器 為了檢視程式的歷史運 況,需要配置一下歷史伺服器。具體配置步驟如下 配置mapred site.xml atguigu hadoop101 hadoop vi mapred site.xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.addressname ...

hadoop配置歷史伺服器

1 配置 mapred site.xml root master hadoop 2.7.2 vimapred site xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.address master 10020 master 19888 2.啟動歷史伺服器 root mas...

hadoop配置歷史伺服器 配置日誌聚集

配置歷史伺服器 1 在mapred site.xml中寫入一下配置 property name mapreduce.jobhistory.address name value hadoop101 10020 value property property name name value hadoop...