深度學習實驗伺服器上批量nohup執行程式

在執行python程式時，需要對多個版本或者多個方法的**進行執行，它們往往需要設定乙個系列的引數，然後使用python ***.py執行該py檔案。這種情況往往要做大量重複的沒有意義的工作，所以我想通過批量生成執行命令，然後批量跑實驗。

首先我們需要乙個批量生成命令的指令碼，如下：

from copy import deepcopy
defgenerate
(param_dict)
: count=
0 final=
1for k,v in param_dict.items():
count=count+
1 final=final*
len(v)
res=
[none
]*count
for i in
range
(count)
: res[i]
=final*
[none
] res_count=
0 res_final=
1for k,v in param_dict.items():
command_num=
0for i in
range
(res_final)
:for j in
range
(len
(v))
:if res_count==0:
res[0]
[j]=
else
: tmp=deepcopy(res[res_count-1]
[i])
tmp[
str(k)]=
str(v[j]
) res[res_count]
[command_num]
=tmp
command_num+=
1 res_count=res_count+
1 res_final=res_final*
len(v)
return res[-1
]def
command
(resdict,num=
1,path=
" ../../output/"):
run_sh=
open
('./run.sh'
,'w'
)for i in
range
(len
(resdict)):
filename=
'' command=
''for k,v in resdict[i]
.items():
ifnot k.startswith(
"python"):
filename+=
"_"+k.split(
"-")[-
1]+v else
: filename+=v.split(
'.')[0
].split(
' ')[1
] command+=
(str
(k)+
' '+
str(v)
+' '
) command+=
' >'
+path+filename
for i in
range
(num)
: run_sh.write(command+
"_"+
str(i)
+" 2>&1 &\n"
)if __name__ ==
'__main__'
: param=
res=generate(param)
command(res,num=
5,path=
" ../../output/20201103/equal/"
)

生成的命令樣式見下圖：

這個**的使用方式很簡單，在紅框傳入你需要的預先設定的引數，生成的命令會是這些引數的全組合。需要注意的是，第一對鍵值對必須是"python"="-u ***.py"，這是執行python檔案必須的命令。在黃框設定輸出日誌檔案要儲存的位置，最前面的空格不可少。

然後將s**件傳入到伺服器，注意相對路徑。

然後執行該s**件，即可nohup批量執行程式：

深度學習實驗伺服器上批量nohup執行程式

Linux同時在多個伺服器上批量建立多個使用者

LVS伺服器實驗

實驗 NFS伺服器

深度學習實驗 伺服器上批量nohup執行程式

Linux同時在多個伺服器上批量建立多個使用者

LVS伺服器實驗

實驗 NFS伺服器

相關推薦

深度學習實驗伺服器上批量nohup執行程式