利用parallel加速tshark

2021-10-06 17:01:23 字數 667 閱讀 7150

parallel可以一台或多台伺服器上執行命令,命令可以是shell指令碼。檔案列表、使用者列表、主機列表、url列表都可以作為輸入端,測試下來,效果在單一伺服器比多台伺服器要明顯。在實際應用中主要是對大批量pcap檔案進行篩選。

先查一下伺服器processor的個數

#cat /porc/cpuinfo/grep name|cut -f2 -d:|uniq -c

**在centos7 和 centos8測試通過如下:

#!/bin/bash

doit

export -f donit

cat ./pcapfilelist.txt|parallel -j+0 doit

**還是很清晰的,這裡的pcapfilelist.txt的格式是這樣的

#cat ./pcapfilelist.txt

/home/user/test1.pcap

/home/user/test2.pcap

/home/user/test3.pcap

下面把parallel安裝過程簡述下

wget

tar jxvf parallel-20190122.tar.bz2

cd parallel-20190122

./configure

make -j 4

make install

利用nginx加速web訪問

起因 在最近新系統的設計中對於首頁開啟速度的問題做了一些考慮,由於頁面上還是以動態資料為主,所以簡單的靜態化資料可能並不行,所以需要從業務和技術結合的角度去考慮這個問題。由於有些資料並不敏感,其實可以放入快取並定時更新。另外就是有些本身是靜態,能否加快併發相應速度。這裡對動態資料想到了2種辦法 1 ...

numba 利用numba加速python

importtime fromnumpyimportarange fromnumbaimportjit jit defz num 2147483647 質數大於 1 ifnum 1 檢視因子 foriinrange 2,num if num i 0 print num,不是質數 print i,乘於...

利用nginx加速web訪問

在最近新系統的設計中對於首頁開啟速度的問題做了一些考慮,由於頁面上還是以動態資料為主,所以簡單的靜態化資料可能並不行,所以需要從業務和技術結合的角度去考慮這個問題。由於有些資料並不敏感,其實可以放入快取並定時更新。另外就是有些本身是靜態,能否加快併發相應速度。這裡對動態資料想到了2種辦法 1 把ac...