用事務處理大資料量表資料的匯入問題

2022-10-10 19:33:08 字數 703 閱讀 4138

兩個不同的資料來源,有著相同的資料表,要從乙個資料來源把資料匯入到另乙個資料來源,該如何處理? 

通常情況下,處理小資料量的情況,我們用dataset就能成功實現,但是資料量特別大的話,就要考慮使用datareader了,因為dataset把資料儲存在記憶體中,在資料量記憶體都無法訪問,怎麼取資料呢?

使用datareader把資料一條一條取出來,再結合多執行緒,能夠很方便地實現資料的匯入,而且速度也會很快.

以下程式**用事務處理機制完成資料的匯入.

public bool importtoclient(string serversql,string tablename)

else

}if (objectservercolumns[objectservercolumns.length - 1].gettype().tostring() == "system.dbnull")

else

cmdclient.commandtext = insertclientsql;

cmdclient.executenonquery();              

}connserver.close();//此處一定要關閉

clienttran.commit();

drserver.close();

return true;

}catch (exception ee)

finally}}

事務處理 資料庫事務

事務簡介 事務的作用 事務的作用是將一系列操作作為乙個整體,一但其 現問題,會回滾到事務的開始狀態。即事務維護了資料的完整性和一致性。事務的四個特性 acid 原子性 事務的操作是原子不可分割的。一致性 事務的運算元據保證一致性,不存在一部分改變一部分不改變。隔離性 隔離性是當多個使用者併發訪問資料...

Spring Boot資料訪問 事務處理

事務管理對於企業應用來說是至關重要的,當出現異常情況時,它也可以保證資料的一致性。所謂事務的傳播行為是指,如果在開始當前事務之前,乙個事務上下文已經存在,此時有若干選項可以指定乙個事務性方法的執行行為。在propagation定義中包括了如下幾個表示傳播行為的常量 隔離級別越高,越能保證資料的完整性...

資料庫的事務處理

事務是這樣一種機制,它確保多個sql語句被當作單個工作單 元來處理。事務具有以下的作用 事務是完整性的單位,乙個事務的執行是把資料庫從乙個一 致的狀態轉換成另乙個一致的狀態。因此,如果事務孤立執行時 是正確的,但如果多個事務併發交錯地執行,就可能相互干擾,造成資料庫狀態的不一致。在多使用者環境中,資...