如何在PAI平台跑實驗

2021-09-12 18:31:08 字數 1569 閱讀 4508

"registry-mirrors":[""]

"insecure-registries":["192.168.193.253:5000"]

docker pull 192.168.193.253:5000/pytorch:v0.4.0

#此映象為pytorch0.4版本的基礎映象

docker image ls

#檢視目前本地所擁有的映象

docker container run -ti #從檢視過程中可以得到image id,輸到對應位置,執行映象

執行映象後就進入linux的terminal了,你擁有root許可權,可以進行任何操作。在其中配置好你想要的環境

弄完之後輸入exit退出

我們執行下面幾條指令,把剛剛弄好的映象上傳到伺服器:

docker container ls -l

#檢視剛剛編輯的映象,主要記住其container id

docker container commit #把映象commit一下,返回乙個sha256編碼就表示成功了

docker image ls

#檢視一下剛剛commit的映象id 剛剛commit的名字為none,記住其image id

docker image tag :#用這個命令給映象起名字,注意name 和 tag 要起成以下格式:192.168.193.253:5000/zhangyu:0.3 ip必須有,zhangyu那部分填自己的,冒號後面為tag,你可以當作版本號。

docker push 至此映象就配置完了,下面就可以上傳**,跑**了

首先在本地python環境安裝常瑞師兄編寫的pai包,常瑞師兄在github上寫的比較詳細,具體操作按照上面來,我在這裡主要介紹一下configuration中的注意事項,所涉及的都是需要改的,其餘可以不予理睬。

jobname:是我們提交任務的名稱,同時平台會在root下建立乙個此名稱的資料夾,執行其中**。初次我們起名為**_,上傳時平台會在_後隨即給你添數字,如果你不按照此格式,他會把你起的名稱覆蓋。

image:填你要使用的映象名稱

gputype:填你要使用的gpu 目前有兩種 geforce1080ti geforce2080ti

cpunumber:填你要申請的cpu數量,一般3就足夠了

memorymb:一般4、5g就可

shmmb:影響讀資料速度,可以填1024或2048,填多了沒用

gpunumber:這裡填你要申請的gpu數量,一般都為1個,如果需要並行跑,可以申請多個

command:/bin/bash /root/mount.sh 這個必輸,其餘的就填你要執行的指令。

平台採用掛載的形式,把伺服器的部分儲存空間掛載到了平台上,掛載過後的位置為:/root/data/

裡面存放/root/data/datasets/資料集,/root/data/models/模型庫,/root/data/ouputs/存一些**的輸出

我們可以用winscp或xterm連檔案系統:

ip為192.168.193.253 使用者名為fileserver 密碼 123456

如何在PAI平台跑實驗

registry mirrors insecure registries 192.168.193.253 5000 docker pull 192.168.193.253 5000 pytorch v0.4.0 此映象為pytorch0.4版本的基礎映象 docker image ls 檢視目前本地...

如何在命令欄中跑小人?

分析問題 1 首先要有乙個小人模型,當然是粗糙的。2 要讓小人跑多久?3 使用迴圈語句。首先用乙個迴圈語句來定義跑多久 int a 考慮到每次迴圈先給a乙個初始值0 大概小人模型長這樣 o i i 然後列印 a 0 while a 9 這是要定義他跑的長度 然後要考慮跑動它需要的條件 printd ...

如何在命令欄中跑小人?

分析問題 1 首先要有乙個小人模型,當然是粗糙的。2 要讓小人跑多久?3 使用迴圈語句。首先用乙個迴圈語句來定義跑多久 int a 考慮到每次迴圈先給a乙個初始值0 大概小人模型長這樣 o i i 然後列印 a 0 while a 9 這是要定義他跑的長度 然後要考慮跑動它需要的條件 printd ...