kettle spoon 資料同步

2021-08-18 03:40:30 字數 1230 閱讀 7000

部落格分類:mysql

kettle spoon 資料同步

寫這篇隨筆只為記錄,免得忘記了。

第一步:建立乙個轉換,檔案-》新建-》轉換

第二步:開啟轉換,右鍵db鏈結-》新建:如下圖

我想這如何填寫大家都知道,無非就是鏈結ip,資料庫名稱,使用者名稱,密碼等。

表輸入在輸入中找:合併記錄在鏈結中;資料同步在輸出中;剩下的就是表輸入設定,合併記錄設定,資料同步設定。

記錄數量限制為0就是所有同步。

第六步:也是最重要的一步,我出錯最多的一步,因為這要用到第五步的標誌字段,合併過後標誌欄位有

「identical」 : 關鍵字在新舊資料來源中都存在,域值相同

「changed」 : 關鍵字在新舊資料來源中都存在,但域值不同

「new」 :  舊資料來源中沒有找到關鍵字

「deleted」:  新資料來源中沒有找到關鍵字

如下圖配置:

這裡注意別把標誌字段加上,還有查詢關鍵字注意。

這就是更具合併記錄後的標誌欄位來決定是插入,更新,還是刪除。

以上資料同步就完了,如果需要定時的話,就重新建個作業,如下

開始裡面就有定時,勾上重複即可,自由發揮,後面的轉換就是我們剛剛新建的轉換,雙擊轉換是如下圖紅色區域選擇剛剛儲存的轉換即可。

kettle spoon表對表採集

兩個資料庫有兩個一樣的表 字段一致 這時候可以採用表輸入和表輸出。這個方式對於資料量較小的表還是比較有優勢的,但是遇到資料量較大的表採用這種方式有點危險哦。1萬 的資料會花掉六分鐘,對於要實時展示的頁面,這簡直是災難,那麼有沒有好的解決方案呢?經過一番冥想,天佑我之。以不變應萬變是這個疑問的答案。保...

mysql同步資料 MySQL同步資料

mysql dump工具用於匯出現有資料,匯出結果為sql檔案 目前dump工具支援整庫dump以及單錶dump。下面為單錶dump操作過程 1 選擇匯出目標目錄 確保該目錄有足夠的儲存空間。mkdir opt bas backup 2 使用mysqldump命令匯出表資料 mysqldump u ...

oracle dblink 資料同步

物理上存放於網路的多個oracle資料庫,邏輯上可以看成乙個單個的大資料庫。使用者可以通過網路對異地資料庫中的資料同時進行訪問,而伺服器之間的協同處理對於工作站使用者及應用程式而言是完全透明的,開發人員無需關心網路的鏈結細節 無需關心資料在網路接點中的具體分布情況 也無需關心伺服器之間的協調工作過程...