使用shell完成資料的批量匯入及介面批量寫入資料

2021-10-09 06:15:41 字數 404 閱讀 9637

需求背景

在日常的開發工作中,新的需求或者活動的開啟,需要對使用者的各類資料進行更新,用來支援後續的業務以及對活動的參與。因此,我們需要來重新整理使用者的資料,待重新整理的使用者資料可能涉及到上千,上萬,甚至十幾萬條,一條條的去修改,顯然很不現實,也很愚昧。就需要我們去批量的請求介面來寫入資料。方法有很多種,例如:postman工具,httpclient,shell指令碼,python指令碼等等。這裡採用了shell指令碼,有兩個原因:1)可在linux上執行(伺服器多半都是linux系統);2)熟悉shell程式設計,實踐linux下的shell指令碼編寫。

示例**

說了那麼多,實踐才是硬道理,所以我們開始編寫指令碼吧。給出的shell指令碼看似很複雜,其實很簡單的,裡面多了一些邏輯判斷和執行時的資料觀測資訊,以及部分編碼的注釋內容。

excel完成資料庫資料的批量插入

開發過程中往往會遇到這樣情況就是產品直接給我們一堆資料,讓咱們直接匯入到後台資料庫中,這時候咱們只需要在excel表中進行直接操作即可,如圖所示 以河北省的編號為例 而對應的資料表為 一 只需要在excel中完成 sql的拼裝即可,如圖 這裡是在d2中寫出了預先需要完成的 sql的前半句,後續需要完...

使用NPOI,完成資料的匯入匯出

解釋下流程,第一步 將資料庫表中的資料匯出到excel表 第二步 將excel表中的資料再插入到資料庫表中 當然沒有做重複性校驗,測試而已 注 表結構很簡單 id int 自增 name nvarchar 20 age int phone nvarchar 13 1 class program218...

使用postgresql的游標批量生成資料

需求是給日誌表裡插入資料,資料是一年前的每隔五分鐘生成一條記錄。這裡有個問題是,這條資料的id和建立時間都是不同的,所以可以使用generate series 函式來得到每隔五分鐘的時間,然後將查詢到的資料返回給游標,開始迴圈遍歷游標,v id作為每條記錄的id號,並且遞增。create or re...