一般不重要
堆內記憶體溢位堆外記憶體溢位
--master yarn \
--driver-memory 4g \ #driver記憶體
--executor-memory 30g \ #executor堆內記憶體
--executor-cores 5 \ #executor占用核數
--num-executors 10 \ #executor 個數
--queue spark \
--conf spark.yarn.executor.memoryoverhead=4096 \ #executor堆外記憶體
--conf spark.serializer=org.apache.spark.serializer.kryoserializer \
--conf spark.default.parallelism=1000 \ #分割槽數（task並行）
--conf spark.sql.shuffle.partitions=1000 \ #shuffle分割槽數
1."spark.executor.memory" 。將記憶體調大 #增加堆內記憶體
2."spark.executor.cores" 將core的個數調小。 #乙個task至少占用乙個核，減小併發，也就是減小資源占用
3.將"spark.yarn.executor.memoryoverhead"設定為最大值，可以考慮一下4096。這個數值一般都是2的次冪。 #增加堆外記憶體
tensorflow記憶體溢位問題
tensorflow的靜態圖結構簡潔清晰，符合人的思維。雖然程式設計上略微有些複雜，但是原理很容易看懂。tensorflow分建圖過程和執行圖 張量求值 兩個階段，在這兩個階段中都可以定義操作和張量。但是有乙個非常容易犯的錯誤 把操作定義在迴圈裡面。例如下面這個例子，tf.assign操作放在了迴圈...
opencv 記憶體溢位問題
問題 1 iplimage imglp cvcreateimage cvgetsize ilipsrc ilipsrc depth,ilipsrc nchannels imglp ct.rgb2cnorm ilipsrc 這時，在rgb2cnorm函式中的返回值如果還cvcreateimage的話，...
web 應用記憶體溢位問題
現象是 web應用不能訪問，檢視tomcat日誌 permgen space的全稱是permanent generation space,是指記憶體的永久儲存區域,這塊記憶體主要是被jvm存放class和meta資訊的,class在被loader時就會被放到permgenspace中,它和存放類例項...