工作心得之介面資料同步

2021-09-11 18:20:37 字數 908 閱讀 9370

在開發過程中避免不了呼叫其他第三方介面,獲取資料或者同步資料,以下是在同步資料到第三介面時踩過的坑和需要注意的一些事,前車之鑑,希望通過這次總結可以避免後續繼續踩坑。

本次同步資料主要採用resetful介面呼叫第三方介面把本系統的業務資料同步到第三介面,基本流程如下:

1、書寫呼叫第三方介面的工具類,通過該工具類獲取第三方介面的token

2、書寫同步業務資料介面,把對應的業務資料傳到第三方平台

3、把同步的資料和第三方資料返回的對應關係儲存在本地資料庫的關聯關係表。

以上就是本次資料同步的基本流程了,咋一看如此簡單,但是就是如此簡單的流程卻踩了乙個又乙個的坑,具體踩坑如下:

1、同步資料沒有列印詳細的日誌檔案,導致後期排查錯誤萬分困難

2、同步資料時沒有考慮資料量的問題,導致在正式環境上,由於資料量過大,第三方介面頻繁呼叫失敗導致同步資料失敗

3、同步資料結果的記錄表設計欄位不全面,確實同步時間,和業務域標識導致,後期排查資料困難。

4、沒有考慮實時同步介面的不穩定性,導致部分資料缺失。

5、同步資料介面封裝不嚴謹,沒有進行深度重構,導致後續業務維護很難。

針對以上的坑,後續要改了n次bug,重構了n次**,才算是填滿了自己挖的坑,總之,如果後續要做資料同步盡量做到以下幾點:

1、同步資料沒在關鍵的節點要列印詳細的日誌,方便後續排查問題以及維護。

2、同步資料介面要考慮全面,如果資料量過大,要考慮分批同步資料。

3、同步資料結果的記錄表設計要全面,盡可能多的記錄同步資訊,其中同步時間是必不可少的。

4、如果有實時同步的業務場景,要充分考慮系統的穩定性和資料的一致性,盡量考慮設計資料補償策略。

5、同步資料,盡量把資料封裝到實體類中,避免直接操作json字串,增加後期維護難度。

以上,是我首次同步資料的「血淚史」,希望可以幫助到大家。

MTK工作心得 改法之ubuntu常用指令

ubuntu賦許可權 可讀可寫可執行 4 2 1 7 最高許可權為7 chmod r 777 alps 有sudo許可權的可在最前邊加上sudo git常用命令 clone,branch,tag,pull,push,checkout,fetch,reset等 clone 從伺服器上拉 到本地,或者轉...

面試心得2之老東家工作的反思

在我16年畢業之後,進入一家企業工作,由於我不是科班出生,基礎功底是非常差的,所以當時進入一家公司以後,很用心的在學習一些基礎的知識,總是在加班,正常情況是965,而我們的新團隊則變成了996,就這樣維持了一年多,在一年半的時間裡,我是沒有漲過工資的,入職的時候,我只有稅前6k的工資,在一年半之後,...

資料倉儲之資料同步策略

一般情況下表分為三個型別,分別是實體表 維度表和事務表 1.實體表 實體表,一般是指乙個現實存在的業務物件,比如使用者,商品,商家,銷售員等等。2.維度表 維度表,一般是指對應一些業務狀態,的解釋表。也可以稱之為碼表。比如地區表,訂單型別,支付方式,審批狀態,商品分類等等。維度表可以分為兩類 一般維...