多程序併發mysqldump資料庫匯入工具

2021-09-12 11:08:06 字數 438 閱讀 7355

本**詳情及用法已上傳到github上:

如果覺得有用的,歡迎star收藏,感謝~

本人菜鳥一名,閒來無事寫來玩玩,有問題請多多指教~

github個人主頁 主頁上還有別的一些小工具~

自定義程序數

根據程序數把要匯入的sql檔案分塊,並且對sql檔案大小進行排序,打亂,藉此盡可能實現每個程序要處理相同任務量

執行任務,如有匯入異常,重新匯入,超過5次失敗錄入到error檔案並退出匯入

安裝基於python 3.6 開發,linux環境。需要安裝 mysqldb 庫。

nohup python mysqldump_multi 40 /export/backup/dapbackup_not_del/10_127_160_166/ >>/export/scripts/edison/nohup.out &

能把io或cpu跑100%

Linux Shell多程序併發以及併發數控制

1.基礎知識準備 1.1.linux後台程序 unix是乙個多工系統,允許多使用者同時執行多個程式。shell的元字元 提供了在後台執行不需要鍵盤輸入的程式的方法。輸入命令後,其後緊跟 字元,該命令就會被送往到linux後台執行,而終端又可以繼續輸入下乙個命令了。比如 sh a.sh sh b.sh...

摘錄 多程序併發

現在是多核時代,併發才能實現更高的吞吐量 更快的響應,但也是把雙刃劍。總結如下幾個用法 這是兩種最常見的多執行緒併發,它們有個天生的缺陷 scalability。乙個機器的效能總是有瓶頸的。兩個場景的邏輯雖然由多個執行緒實現了併發,但是運算量十分有可能是一台機器無法承載的。如果是多程序併發,那麼可以...

python多程序併發

由於python下呼叫linux的shell命令都需要等待返回,所以常常我們設定的多執行緒都達不到效果,因此在呼叫shell命令不需要返回時,使用threading模組並不是最好的方法。python提供了非常好用的多程序包multiprocessing,你只需要定義乙個函式,python會替你完成其...