實力打造實時大資料的平台

2021-12-30 04:09:11 字數 3056 閱讀 9097

物聯網火熱到什麼程度?實時大資料又是乙個什麼概念?筆者想用乙個調查機構的話來回答:

據估計,接入物聯網中的裝置在2023年將達到260億,假設這些感測器中有1/1000的感測器每秒傳回乙個狀態,則每秒同時要處理的實時資料將達0.26億。

geoevent server登場:

實時資料的連續接入、處理和輸出

物聯網中的實時大資料往往都與空間位置分布有直接或間接的關係,傳統的技術手段已經無法很好地接收和處理。arcgis 10.5中的geoevent server為實時大資料的接入和處理提供了一種有效的方案。

geoevent server可以對接物聯網中各種型別的感測器,並對實時大資料進行高效處理和分析,輸出到arcgis平台或者其它的平台中,它是arcgis平台提供的一種高效、實用的實時大資料處理伺服器。

geoevent server內建了非常多的輸入、輸出協議以及資料處理方法,並提供視覺化的配置介面,通過拖拽式的操作即可快速配置實時大資料處理流程,使得實時大資料流能夠在geoevent server中輕鬆的完成流轉。其中,資料接入的協議多達17種,包括tcp、udp、rss、web socket等多種常用主流協議,可以說,任何流資料都可以通過geoevent server接入。

geoevent server同時提供了非常多的實時資料分析方法,用來進行實時資料的過濾和處理,在10.5當中,過濾方法多達23種,其中最重要最實用的「地理圍欄」多達12種,支援進入、離開、在裡面、相交……等幾乎所有場景,並且支援多個地理圍欄的any或all狀態;同時提供了包括緩衝分析、投影轉換、凸包計算等多達27種的空間資料處理方法,可以實現目標監控、交通流量統計等核心業務。

經過geoevent server處理的實時資料,同樣可以多種形式對外輸出,如可以向手機傳送簡訊提醒、郵件提醒,可以輸出為web socket被其它平台使用,還可以輸出到rabbitmq、hadoop、mongodb等多種平台中。

支援實時大資料

1、實時大資料視覺化

geoevent server提供的「時空大資料儲存輸出聯結器」支援將實時流資料接入arcgis平台進行實時動態聚合顯示,使用者可以一目了然的看出每一時刻的資料狀態,以及當前時刻的密度分布。

2、實時大資料儲存

geoevent server還基於esri新推出的arcgis data store實現實時大資料的高效儲存,將感測器的歷史資料都予以保留,可以充分發揮歷史資料的巨大價值。如通過對歷史資料進行時間軸**,可以對航班/車輛的歷史軌跡進行回放,有助於確定在某些特殊的狀態下,移動目標的軌跡是否合理,為路徑規劃提供參考。

3、實時歷史大資料的挖掘分析

在arcgis 10.5當中,geoevent server實現了與geoanalytics server的整合,這意味著,通過geoevent server接入的實時大資料可以使用geoanalytics server提供的多種大資料分析工具進行挖掘分析。與傳統的分析工具相比,使用全新推出的、基於spark框架的geoanalytics server大資料分析工具可以更快的得到分析結果。這使得geoevent server更好的支援實時大資料分析。

4、快速建立實時大資料應用

結合arcgis平台已有的各種即拿即用的客戶端,可以非常簡單方便的建立實時大資料的應用。通過geoevent server可以將實時大資料以增強的地圖服務和要素服務的方式輸出到arcgis平台中,這兩種型別的服務可以在portal for arcgis、web appbuilder for arcgis、operations dashboard,arcgis pro,以及最新推出的洞悉資料的利器insights for arcgis中進行視覺化、查詢,甚至是分析。

5、geoevent server實時大資料的規模

geoevent server和arcgis data store均具備分布式多節點部署的能力,採用多個geoevent server節點和arcgis data store節點分布式部署,可以顯著提公升geoevent server接入和處理實時大資料的能力。下圖展示的是geoevent server和arcgis data store節點數與峰值時刻的處理速度。

據有效測算,在geoevent server節點36個,arcgis data store節點18個的情況下,每秒能處理的實時資料峰值在8.76萬/秒,這個值已經超過2023年雙十一期間支付寶的交易峰值。由此可見,geoevent server可以真正支撐物聯網背景下的實時大資料應用。

寫在最後

geoevent server是arcgis 10.5中四大重要的伺服器之一,在物聯網蓬勃發展,大資料炙手可熱的時代,它給使用者提供了一種高效的實時大資料接入、處理和輸出以及視覺化的途徑,並通過與geoanalytics server的結合,在實時大資料積累的歷史資料探勘方面有更大的突破,為企業使用者充分挖掘資料背後的價值。

打造資料中心的軟實力

在it領域,整合或者說融合已經形成了一股巨大的洪流,不可逆轉。it廠商會提供融合了計算 儲存 網路甚至是軟體的整體解決方案,而使用者也希望與單一 商打交道,以減少整體採購和使用成本。在資料中心領域也上演著相同的戲碼,能夠提供端到端解決方案似乎成了資料中心廠商最值得驕傲的資本。但是從正逐漸分化的資料中...

新冠肺炎疫情大資料實時平台

目錄 一 簡介 本開源程式將逐步停止維護,將開設新的專案,資料來源以中國cdc為準。新增全球疫情資料 國內資料 各省市自治區資料 二 目錄結構介紹 bin 專案的底層核心,路由配置檔案 controller 控制器目錄 node modules 專案中依賴的包 public 公共資源放的目錄 rou...

如何打造高效能大資料分析平台

from 原文 building high performance big data analytics systems 大資料分析系統作為乙個關鍵性的系統在各個公司迅速崛起。但是這種海量規模的資料帶來了前所未有的效能挑戰。同時,如果大資料分析系統無法在第一時間為運營決策提供關鍵資料,那麼這樣的大資...