用Python簡單批量處理資料

2022-02-13 00:30:44 字數 1086 閱讀 5419

近期碰到乙個問題,兩套系統之間資料同步出了差錯,事後才發現的,又不能將業務流程倒退,但是這麼多資料手工處理量也太大了,於是決定用python偷個小懶。

1、首先分析資料。

兩邊資料庫欄位的值都是一樣,先將這邊資料庫的資料查詢匯出,正好是2列

120多行的資料。那麼目標就是拼接成

update from_name set data= where id=

格式,將匯出內容中的第

1列和第

2列內容放到等號

=後面即可。

2、下面開始動手。

idle

或者pycharm

都行,**簡單用哪個都不影響。

2.1 開啟檔案(注意檔案存放路徑),預設開啟為

r  模式,

seek(0)

:從起始位置讀取內容。

2.2 讀取檔案中的資料,得到乙個列表,用以

for迴圈

輸出f1檢視資料格式,可以看出中間的製表符

\t 和換行符

2.3 先將列表內容的換行符

\n替換為

;,再從指標表

\t位置進行切割,分開為兩個字元。

輸出結果:

2.4 然後就可以進行拼接了,使用最簡單拼接方式,再將所有內容存到乙個物件中

2.5 最後將成果封裝寫入到乙個檔案當中

檢查電腦存放的路徑中是否存在最終輸出的檔案,大功告成,11行**就完了,簡單粗暴又有效。

python批量處理

coding utf 8 created on sat jun 20 19 36 34 2015 author chaofn import os 這個程式的目的是將linux下 ifs home fanchao manesh pdb目錄中的所有檔案 一共有215個檔案 批處理將pdb檔案生成dssp...

用Python處理實驗資料

今天難得清靜,雖然上課還是沉浸於完成任務的放縱式玩手機中,但是也開始撿起了以前的一些東西,尤其是我下功夫最多的pyhton,今晚要寫乙個實驗報告,要處理一堆的資料,所以乾脆就直接的用python處理,然後我就慢慢的一點點的輸入資料然後抄寫就好了。爽歪歪的有木有?下面是我們實驗的要求 字不是我的 話不...

spring ibatis 批量處理資料

本人在最近的專案中發現這樣的乙個問題。在spring ibatis的配置下,存在多種進行資料操作的方法。各種方法在效率上以及是否存在潛在bug上,也各不相同。以下述 為例 public void insert siterank param public void insertall listsite...