五分鐘學GIS 大資料之分布式空間分析服務

2021-08-09 19:17:52 字數 1375 閱讀 7410

分布式空間分析服務是supermap iserver 9d中新增的乙個擴充套件模組,其利用spark分布式計算方式,對超大體量的空間資料進行各種分析。可接入分布式儲存的地理資料,如 hdfs(hadoop distributed file system,hadoop 分布式檔案系統)儲存的資料、iserver datastore 中儲存的關係型資料、以及 udb 中儲存的點線面資料。其提供強大的空間分析能力,例如大資料的地圖出圖、分析與管理。所有功能提供 rest api,方便開發與擴充套件。

效能非常高

分布式空間分析服務利用spark分布式計算方式,將乙個分析任務分解為多個子任務,最終通過分布式計算快速得到結果(如下圖)。

可接入多種資料**與格式參與分析

支援共享目錄方式,支援hdfs目錄,支援企業級空間資料庫(oracle,pg-xl)等,資料格式支援udb,csv,execl,geojson等。

多終端的快速使用

iclient , idesktop產品可直接呼叫,並以視覺化方式展示大資料分析任務的執行過程與結果。

擴充套件性高

分析節點的橫向擴充套件非常方便。想要提高效率,只需增加處理節點,啟動一台iserver,加入集群,註冊資料即可。

部署簡單

iserver 9d內建spark分布式計算框架,部署分布式分析服務集群十分簡單,不需要有分布式相關知識。搭建過程同搭建集群類似,完全視覺化操作,只需三步:

1.勾選開啟iserver集群服務。

2.勾選開啟iserver分布式分析服務。

3.將iserver節點加入集群並勾選參與大資料分析選項卡即可。

1.傳統空間分析處理時間長,想要大幅度提高處理效率。

例如:某專案中,2261萬條紀錄面(68.3gb大小)與3502平方公里的不規則面疊加分析,傳統分析(機器:32核cpu,64gb記憶體)需要42.5分鐘,而採用分布式計算模式(機器:4臺4核cpu,16g記憶體機器)只需2.1分鐘,效能提公升20倍。

2.傳統方式處理不了的資料內容。

例如:10億點和1000w個面進行聚合,使用傳統模式處理不了這種級別的資料。

3.專案適應未來技術趨勢,即對傳統資料進行分布式儲存,分布式計算,實時資料處理,非結構化儲存等。

supermap iserver 9d採用4節點集群方式,每節點配置32g、4core,採用a+b資料方式,進行大資料量的空間分析(點聚合分析功能):

五分鐘學GIS 時空資料視覺化表達

今天五分鐘學gis的時間我們來學習時空資料視覺化。時空資料是指具有時間元素並隨時間變化而變化的空間資料,是描述地球環境中地物要素資訊的一種表達方式。這些時空資料涉及到各式各樣的資料,如地球環境地物要素的數量 形狀 紋理 空間分布特徵 內在聯絡及規律等的數字 文字 圖形和影象等,不僅具有明顯的空間分布...

5分鐘搞懂分布式基礎概念

拒絕大型單體應用,基於業務邊界進行服務微化拆分,各個服務獨立部署執行 分布式系統中,各個服務可能處於不同主機,但是服務之間不可避免的需要互相呼叫,我們稱為遠端呼叫。springcloud中使用http json的方式完成遠端呼叫。a服務呼叫b服務,b服務部署在多台機器,a傳送請求到任意乙個伺服器均可...

一分鐘實現分布式鎖

一 緣起 分布式環境下,多台機器上多個程序對乙個資料進行操作,如果不做互斥,就有可能出現 餘額扣成負數 或者 商品超賣 的情況,如何實現簡易分布式鎖,對分布式環境下的臨界資源做互斥,是今天將要討論的話題。二 互斥原理 原理 多個訪問方對同乙個資源進行操作,需要進行互斥,通常是利用乙個這些訪問方同時能...