Python記憶體洩漏和記憶體溢位的解決方案

2022-09-26 18:45:21 字數 1873 閱讀 3527

一、記憶體洩漏

像j**a程式一樣,雖然python本身也有垃圾**的功能,但是同樣也會產生記憶體洩漏的問題。

對於乙個用 python 實現的,長期執行的後台服務程序來說,如果記憶體持續增長,那麼很可能是有了「記憶體洩露」。

1、記憶體洩露的原因

對於 python 這種支援垃圾**的語言來說,怎麼還會有記憶體洩露? 概括來說,有以下三種原因:

為什麼迴圈引用的物件定義了__del__方法後collect就不起作用了呢?

gc模組最常使用的方法就是gc.collect()方法,使用collect方法對迴圈引用的物件進行垃圾**。

如果我們在類中過載了__del__方法。__del__方法定義了在用del語句刪除物件時除了釋放記憶體空間以外的操作。

一般而言,在使用了del語句的時候直譯器首先會看要刪除物件的引用計數,如果為0,那麼就釋放記憶體並執行del方法。

在這裡,首先del語句出現時本身引用計數就不為0(因為有迴圈引用的存在),所以直譯器不釋放記憶體;

再者,執行collect方法時應該會清除迴圈引用所產生的無效引用計數從而達到del的目的,對於這兩個迴圈引用物件而言,

python無法判斷呼叫它們的del方法時會不會要用到對方那個物件,比如在進行b.del()時可能會用到b._a也就是a,如果在那之前a已經被釋放,那麼就徹底gg了。

為了避免這種情況,collect方法預設不對過載了del方法的迴圈引用物件進行**,而它們倆的狀態也會從unreachable轉變為uncollectable。由於是uncollectable的,自然就不會被collect處理,所以就進入了garbage列表。

2、記憶體洩露的診斷思路

無論是哪種方式的記憶體洩露,最終表現的形式都是某些 python 物件在不停的增長;因此,首先是要找到這些異常的物件。

3、診斷步驟

用到的工具: gc 模組和 objgraph 模組

gc模組 是python的垃圾收集器模組,gc使用標記清除演算法**垃圾

objgraph 是乙個用於診斷記憶體問題的工具

import gc

import objgraph

### 強制進行垃圾**

gc.couyqlwzuxpllect()

### 列印出物件數目最多的 50 個型別資訊

objgraph.show_most_common_types(limit=50)

4、檢查統計資訊,找到異常物件

執行加入診斷語句的服務程式,並將列印到螢幕上的統計資訊重定向到日誌中。執行一段時間後,就可以來分析日誌,看看哪些物件在不停的增長。

比如,排查結果可能是:

乙個多執行緒程式,多個執行緒作為生產者,乙個執行緒作為消費者,通過將乙個 tuple 物件送入非同步佇列進行通訊。

由於消費者的處理速度跟不上生產者的速度,又沒有進行同步, 導致非同步佇列中的物件越來越多。

二、記憶體溢位

1、記憶體溢位原因

2、記憶體溢位的解決方案

第一步,修改jvm啟動引數,直接增加記憶體(-xms,-xmx引數一定不要忘記加)

第二步,檢查錯誤日誌,檢視「outofmemory」錯誤前是否有其 它異常或錯誤

第三步,對**進行走查和分析,找出可能發生記憶體溢位的位置

重點排查以下幾點:

第四步,使用記憶體檢視工具動態檢視記憶體使用情況

三、記憶體洩漏和記憶體溢位的區別

記憶體溢位是指向jvm申請記憶體空間時沒有足夠的可用記憶體了,就會丟擲oom即記憶體溢位。

記憶體洩漏是指,向jvm申請了一塊記憶體空間,使用完後沒有釋放,由於沒有釋放,這塊記憶體區域其他類載入的時候無法申請,

同時當前類又沒有這塊記憶體空間的記憶體位址了也無法使用,相當於丟了一塊記憶體,這就是記憶體洩漏。

值得注uyqlwzuxp意的是記憶體洩漏最終會導致記憶體溢位,很好理解,記憶體丟了很多最後當然記憶體不夠用了。

記憶體洩漏和記憶體溢位 記憶體洩漏和記憶體溢位

記憶體洩漏 是指申請的記憶體空間使用完畢之後未 一次記憶體洩露危害可以忽略,但若一直洩漏,無論有多少記憶體,遲早都會被占用光,最終導致程式crash。因此,開發中我們要盡量避免記憶體洩漏的出現 記憶體溢位 是指程式在申請記憶體時,沒有足夠的記憶體空間供其使用。通俗理解就是記憶體不夠用了,通常在執行大...

記憶體溢位和記憶體洩漏

記憶體溢位 oom 指程式在申請記憶體時,沒有足夠的記憶體空間供其使用,出現oom 記憶體洩露memory leak 指程式在申請記憶體後,無法釋放已申請的記憶體空間,一直占用著這塊記憶體空間。記憶體溢位就是你要求分配的記憶體超出了系統能給你的,系統不能滿足需求,於是產生溢位。記憶體洩漏是指你向系統...

記憶體溢位和記憶體洩漏

記憶體溢位 out of memory,是指程式在申請記憶體時,沒有足夠的記憶體空間供其使用,出現out of memory 比如申請了乙個integer,但給它存了long才能存下的數,那就是記憶體溢位。記憶體洩露 memory leak,是指程式在申請記憶體後,無法釋放已申請的記憶體空間,一次記...