抽取OnPost支援

2021-05-22 11:34:13 字數 741 閱讀 4542

onpost定義在從介面資料表中成功抽取資料後的動作,如修改記錄的標誌字段值,告知資料生產者。

通過在抽取規則中配置實現,支援update,delete命令形式。

1.單錶情況

單錶是在遍歷/處理所有記錄後執行一次onpost,只影響抽取記錄集的記錄。但如果其中有不符合限制條件的記錄(如有非合作**商的記錄)時,這些記錄也一併被修改了標誌。

配置時sql命令必須有where子句,如果本身不需要(如全表操作),則增加乙個佔位串(如where 1=1)。

單錶只支援乙個onpost命令.

2.主從表情況

假設k1,k2為主表的主鍵字段,k1為字串型別,k2為數值型別.

每一張單據處理完畢後,onpost只會影響該單據.

如果主從表都需要修改標誌字段,則分別配置主從表的onpost命令.

對於mth版本,寫已抽取記錄表(tb_5607)和onpost未控制在乙個事務中.可能出現資料已經被抽取,但標誌欄位未被修改的可能。

在作為系統之間介面應用的情形,如果資料生產者只是根據標誌進行清理,則可增加過期判定條件。

對於採用匯入日誌表(tb_5601)的版本,有xa事務問題.

對於不生成磁碟檔案的版本,也存在xa事務問題.

在不引入事務管理器的情況下,xa事務問題的處理原則是區分主次,允許重複處理但不允許遺漏。

以傳送一張單據為例,寫入單據表是主,修改源記錄標誌是次。

可以容許單據寫入成功,而標誌未修改(這會導致重做)。反之,則不允許。

Kettle資料抽取 增量抽取

使用 kettle 實現資料的增量抽取的方法大致如下 從目標表中讀取最大的時間戳或者增量字段 id,作為條件,然後把源表中所有大於這個增量欄位的資料讀出來,插入到目標表當中去 1.開啟 kettle 工具,開啟新建的全量抽取流 2.選擇 input,再拖出來乙個 表輸入 控制項 開啟表輸入 2,配置...

資訊抽取之街道抽取

從給定的語料中抽取出相應的道路資訊。資料向塘北大道西50公尺 天龍路與龍華路交叉口北50公尺 觀瀾大道490號附近 成都市錦江區海椒市街13號附7號 玉蘭西路 團結北路23號 湖塘鎮火炬北路12號 昆明市晉寧區莊蹺西路28 金水路合作路28 1號 長公大道浙江顯家門業閬中總 旁 安陽街道嶺下東路4號...

讀書筆記 關係抽取和事件抽取

讀完趙軍主編的 知識圖譜 第六章和第七章,對關係抽取和事件抽取簡單做一下筆記。關係抽取 定義 自動識別實體之間具有的某種語義關係。根據參與實體的多少可以分為二元關係抽取 兩個實體 和多元關係抽取 三個及以上實體 通過關注兩個實體間的語義關係,可以得到 arg1,relation,arg2 三元組,其...