使用 Python 標準庫進行效能測試

2021-07-29 13:32:26 字數 2870 閱讀 2368

在 python 標準庫裡面有兩個模組可以用來做效能測試。

1. 乙個是 profile,它是乙個純 python 的實現,所以會慢一些,如果你需要對模組進行拓展,那麼這個模組比較合適。

2. 第二個是 cprofile,從名字就可以看出這是乙個 c 語言的實現版,官方推薦在大多數情況下使用。

這兩者的介面和資料的輸出格式是完全一樣的,你可以在這兩者之間自由的切換,所以下面我們僅以 cprofile 為例進行介紹。

在 cprofile 中,進行效能測試十分簡單,只需呼叫run方法,並將需要測試的函式及引數傳遞給它即可,下面我們對fib(n)進行效能測試。

import cprofile

deffib

(n):

if n == 0:

return

0if n == 1:

return

1return fib(n-1) + fib(n-2)

if __name__ == '__main__':

cprofile.run('fib(30)')

效能測試的結果如下圖

可以看到一共進行了 2692539 次函式呼叫,共耗時 0.815 秒。下面每一行對應於乙個函式的呼叫情況,其中:

1. ncalls, 函式總共呼叫次數;

2. tottime, 這個函式呼叫總共花費時間;

3. percall, 每個呼叫的平均花費時間;

4. cumtime, 總共累計花費時間;

5. percall, 每個呼叫的平均累計時間;

6. filename:lineno(function), 對應函式資訊。

所以從圖中可以明顯看到幾乎的耗時都在fib上,而且函式呼叫數過多,這主要是因為函式是遞迴呼叫的,並且會產生很多冗餘分支,所以程式需要進行優化。有兩種方法進行改進,一是快取fib(n)的資訊,不需要每次都進行計算;二是將程式改為迭代式。

而對函式值進行快取在 python 3 裡有乙個簡單的裝飾器叫做lru_cache,可以自動的幫你快取函式的值,而不需要自己手動儲存。

import functools

@functools.lru_cache(maxsize=none)

deffib

(n):

if n == 0:

return

0if n == 1:

return

1return fib(n-1) + fib(n-2)

執行結果如下:

可以看到,fib 函式只呼叫了 31 次,幾乎所有額外的呼叫都命中了快取,遠遠小於前面的呼叫次數,執行時間也得到了相當明顯的提公升。同時使用下面的迭代版程式也執行得非常快,這裡就不再展開。

def

fib(n):

prev, cur = 0, 1

if n == 0:

return prev

if n == 1:

return cur

count = 1

while count < n:

count += 1

prev, cur = cur, prev + cur

return cur

除了前面提到的 run 方法外,還有乙個叫做 runctx 的方法,允許提供一些上下文引數。例如前面的cprofile.run('fib(30)')可以改為cprofile.runctx('fib', globals(), )最後的執行結果是相同的。

最後,除了直接列印到命令列的方式,run 和 runctx 可以通過第二個引數傳遞檔名的方式將輸出結果寫入檔案。

cprofile 雖然可以對程式進行簡單的效能測試,但是當程式過大,呼叫函式很多的時候,就需要一些對測試結果進行過濾和排序的工具了,而 pstats 就是這樣的乙個工具。

# fib_profile.py

import cprofile

import pstats

for i in range(5):

cprofile.run('fib(1000)', 'fib_profile_{}'.format(i))

stats = pstats.stats('fib_profile_0')

for i in range(1, 5):

stats.add('fib_profile_{}'.format(i))

stats.strip_dirs()

stats.sort_stats('cumulative')

stats.print_stats('fib')

上面的程式首先寫入了多個測試結果,然後初始化了 stats,可以通過 stats 的 add 方法新增新的檔案,pstats 會自動的將結果聚合起來;然後 strip_dirs 將會移除檔名前面的路徑,只保留檔名;sort_stats 是對輸出結果進行排序,也就是在前面所說的那幾行裡進行選擇(具體的可參閱官方文件);最後的 print_stats 對結果進行輸出,在這面可以對行進行過濾,比如上面的程式就只輸出了包含 fib 的行;實際輸出結果如下。

如何使用Python標準庫進行效能測試

profile 和 cprofile 在 python 標準庫裡面有兩個模組可以用來做效能測試。1.乙個是 profile,它是乙個純 python 的實現,所以會慢一些,如果你需要對模組進行拓展,那麼這個模組比較合適。2.第二個是 cprofile,從名字就可以看出這是乙個 c 語言的實現版,官方...

python使用asyncio內建庫進行非同步I O

參考文章 asyncio庫是python3.4後引入的標準庫,其中直接內建了對非同步io的支援,asyncio的程式設計模型就是乙個訊息迴圈,我們直接從asyncio中獲取乙個eventloop,然後把需要執行的協程扔到eventloop這個訊息迴圈中,就實現了非同步操作,下面是使用asyncio非...

Python標準庫shutil模組使用方法解析

shutil.rmtee 刪除目錄及以內的所有檔案。import shutil shutil.rmtree r d python 222 包括222在內的所有檔案全部刪除。shutil.move 重新命名檔案或資料夾 impwww.cppcns.comort shutil shutil.move 源...