2020FME部落格大賽 FME在資料整合中的應用

2021-10-04 23:06:09 字數 2169 閱讀 9151

單位:北京超圖資訊科技股份****

自2023年11月20日不動產統一登記制度正式實行以來,各地持續推進不動產存量資料整合工作,將現有的分散存放在國土、住建等部門的多源異構的不動產登記資料進行規範採集、抽取、轉換、補錄、整合,依據《不動產登記資料庫標準》(試行)整合建設不動產登記資料庫,此項整合已基本接近尾聲,fme在此項資料整合中發揮了巨大作用。

根據國土資源部關於進一步加快宅基地和集體建設用地確權登記發證有關問題的通知,2023年將開展大範圍的農村房地一體確權登記工作,新的整合工作即將開展,fme將再次在此類專案中發光發熱。

本文主要根據不動產資料整合的經驗,介紹了fme在資料整合中的應用。並對接下來要進行的農村房地一體確權登記專案有一定的展望。

不動產登記資料庫整合建庫主要步驟包括:準備工作、資料採集分析及規範化整理、資料整合關聯和資料入庫,質量控制貫穿不動產登記整合建庫的全過程。

圖1 資料整合流程圖

在資料整合開始之前,我們一般會收集已有的資料成果,資料成果是多源異構的,我們通過fme對資料進行前期分析,並進行初步處理。

這一步使用主要使用的轉換器是joiner和featuremerger。通過關鍵字段對原始資料庫的多張表進行關聯查詢,找到表與表之間的關係,分析出**存放的資料種類。joiner和featuremerger轉換器都可用於表與表進行關聯,joiner轉換器是阻塞性轉換器,適用於少量資料在大批量資料中進行關聯查詢,featuremerger適用於大批量資料和大批量資料關聯查詢,靈活結合使用有利於提高模板執行效率。

得到表關係後,我們通過attributecreator轉換器對原始欄位和目標欄位做對映關係。sorter和sampler轉換器對原表重複資料排序取唯一資料。最後對每條資料通過uuidgenerator取乙個唯一標識。

圖1 部分模板截圖

圖2 部分轉換器引數截圖

圖1 attributecreator轉換器引數

原資料庫電子檔案是通過二進位制形式儲存在資料庫中的。這一步可以先通過attributecreator轉換器新建乙個path變數作為儲存路徑。然後通過attributefilewriter轉換器解析寫出檔案。

圖1 attributecreator轉換器引數

圖2 attributefilewriter轉換器引數

農村房地一體確權登記專案主要包含兩部分工作:外業調查與測繪,內業資料整合。在處理內業資料時,fme必將派上用場。

使用fme的空間資料處理相關轉換器對外業測繪成果進行預處理與疊加分析;運用不動產資料整合所用到的相關轉換器對外業調查資料進行規範化處理,實現資料整合;利用fme對整合成果進行入庫,實現農村房地資料與已有不動產資料融合;最後根據資料情況,利用directory and file pathnames讀模組或其他檔案讀取轉換器對電子檔案進行獲取,並完成掛接。

fme是乙個強大的工具。在對資料批量操作的時候,首先想到的就是fme,fme使我的工作更高效,讓枯燥的資料處理分析工作充滿了更多樂趣。最後希望能借這個平台認識更多資料大牛交流資料分析處理經驗。

2020部落格總結

2020年已經結束啦,需要對今年寫的部落格做個總結。其實寫部落格是從2020年初開始的,之所以寫部落格有幾個原因 部落格是對外展示自己的名片 我挺喜歡學習的,看過很多書 很多資料,但是從來不寫部落格,當我想展示自己的時候,靠說嗎?這種效果是比較差的,而且對於聽者來說沒有直觀的感受。搞技術的常說tal...

2020開年居家寫部落格

2020開年一路波折。家裡呆著也近乙個月了,空閒時間很長,但也需要我們好好的規劃時間,如何可以更加充實的度過呢。雖然 剛開始生活有些混亂,慢慢開始適應起來,並開始進行安排每天的任務,直到這幾天基本可以做到 1.每天聽三國音訊一小時 2.練琴半小時 3.鍛鍊身體半小時 生活就是這樣慢慢有些規律起來,雖...

大橙子的部落格

adb常用指令及含義說明一.簡介adb 其實就是 android debug bridge,android 除錯橋的縮寫,adb 是乙個 c s 架構的命令列工具,它的執行原理是 pc 端的 adb server 與手機端的守護程序 adbd 建立連線,然後 pc 端的 adb client 通過 ...