pycharm 一直索引或索引過大占用系統盤問題

2022-07-24 12:06:15 字數 554 閱讀 8319

現象:用pycharm做深度學習, 越用越慢,而且很容易記憶體溢位,隨著使用次數增加,pycharm索引時間越來越長

4)查不到跟我相似問題。

解決過程

因為,**量沒劇增。只有資料在增長。於是將資料更改到專案外的資料夾,並且程式呼叫影象資料路徑都更改為專案外資料夾。

更改後

記憶體占用從5g還不能滿足-》600m;索引速度從2個小時還不能滿足降低到十幾秒。 恢復正常狀態。

成因解析:

最初原因:1)方便**索引資料,所以**裡面使用相對路徑。因此,資料直接放置在目錄下。剛開始研究深度學習,資料都比較小。隨著學習深入,資料規模越來越大,比如變分生成網路(dcgan)。原始資料200m,但是中間生成的訓練達到12g。2)pycharm會預設將專案資料都遍歷,期間記憶體會增加,檢索時間根據專案大小改變。

將資料遷移出去是個辦法。但是拷貝**等情況,會使得**遷移麻煩。所以,網上還有一段被忽略資訊:「將不想索引的資料夾設定為excluded folders即可」,設定為不索引。

Lucene初探之索引過程分析(一)

經過上面的學習,我們對於lucene的索引檔案的儲存原理有了初步的了解,不過了解了這些只是為隨後的操作lucene打下了乙個很小的基礎,我們無法依靠這些知識就去自完成搜尋引擎的整個設計。接下來,我們將開始深入lucene的索引過程,進一步去深入了解lucene的執行。對於lucene的索引過程,除了...

pycharm 啟動後一直更新index的問題

這個谷歌一下就知道了,stackoveflow上就有幾個解決方案,試試哪個好使就可以了。詳情見和 對於我的電腦來說,使用了 in pycharm,go to the file on the left top,then select invalidate caches restart.and pres...

sql重建索引一直執行 索引 sql執行慢續

之前有關sql語句執行變慢的原因解析中,提到過索引在sql語句執行過程中的作用 用的好,可以提高10倍左右的速度,提高效率,而用的不好,會降低效率。通過三個方面解析索引 索引的使用場景 索引種類 聚集索引和非聚集索引的查詢效率 續 在資料結構中的索引原理 索引就好比 本書的 錄,它可以幫我們快速進 ...