spark submit指令碼引數的設定

2021-09-26 08:43:46 字數 407 閱讀 6449

--driver-memory 2g --executor-memory 4g --executor-cores 1 --num-executors 60
一共60個executor,每個executor,1個cores,4個g的memory,共使用資源:240g的memory,60個core

--driver-memory 2g --executor-memory 8g --executor-cores 2 --num-executors 30
一共30個executor,每個executor,2個cores,8個g的memory,共使用資源:240g的memory,60個core

兩個使用的資源都一樣,但是第二個引數跑起來的速度快很多

Shell指令碼 引數

我們可以在執行 shell 指令碼時,向指令碼傳遞引數,指令碼內獲取引數的格式為 n。n代表乙個數字,1 為執行指令碼的第乙個引數,2 為執行指令碼的第二個引數,以此類推 以下例項我們向指令碼傳遞三個引數,並分別輸出,其中 0為執行的檔名 bin bash author 菜鳥教程 url www.r...

訪問Shell指令碼引數

所謂的位置引數 positional parameters 指的也就是shell指令碼的命令列引數 command line arguments 在shell函式裡,它們同事也可以是函式的引數。各引數都由整數來命名。基於歷史的原因,當它超過9,就應該用大括號把數字框起來 echo first arg...

Python 指令碼引數傳遞

optionparser from optparse import optionparser def parse cmd parser optionparser usage prog options version 1.0 parser.add option c cluster help expan...