parallel shell 多執行緒

2021-09-13 23:39:39 字數 889 閱讀 3951

yum install -y perl-podlators

解壓tar -jxvf parallel-latest.tar.bz2

安裝configure

make -j8

make

install -j16

測試:cat install.log.syslog | parallel --pipe grep

'group'

parallel --bibtex

輸入will cite

shell並行運算

sort --parallel=30 sqldata_1g.txt > 1.log

parallel --pipepart -a sqldata_100g.txt -j10 wc -l |

awk' end '

#統計行數,控制核數

parallel --pipepart -a sqldata_100g.txt wc -l |

awk' end '

#統計行數,預設所有核心

parallel --tag 'diff | wc -l' ::: sqldata_100m.txt ::: sqldata_1g.txt|

awk''

#單執行緒多檔案,可使用split切分後diff

parallel --pipepart --block 100m -a bigfile -k --compress grep -f regexp.txt # -f grep 檔案、-f grep 字元

diff嘗試split切割1g個小檔案後parallel對比????

diff --speed-large-files sqldata_1g.txt sqldata_10g.txt #加速不多,但有

ThreadPoolExecutor 多執行緒

from concurrent.futures import threadpoolexecutor,wait,all completed from queue import queue myqueue queue 佇列,用於儲存函式執行結果。多執行緒的問題之一 如何儲存函式執行的結果。def thr...

c 多線例項

using system using system.threading using system.text namespace controlthread 第二個執行緒正在執行,請輸入 s uspend,r esume,i nterrupt,or e xit.datetime.now.tostrin...

CLLocationManager在多執行緒下使用

似乎定位的返回 呼叫 只能有主線程來呼叫,並且這個物件還必須是在主線程建立的。做過以下實驗 1.子執行緒中 self.locationmanager cllocationmanager alloc init autorelease locationmanager.delegate self loca...