離線環境配置 0 10 1 fairseq

一.虛擬環境

主環境的0.9版fairseq還需要使用，並且安裝0.10.1的fairseq還需要使用主環境的一些依賴，於是建立虛擬環境安裝，並且是複製主環境的虛擬環境。（有隱患）

conda create -n new-env --clone old-env

進入虛擬環境：

conda activate new-env

報錯：

commandnotfounderror: your shell has not been properly configured to use 'conda activate'.

解決：

source activate

二.cuda和cudnn配置

1.cuda

export ld_library_path="***/cuda-10.2/lib64:$ld_library_path" export cuda_home="***/cuda-10.2/" export path="***/cuda-10.2/bin:$path"

2.cudnn

選項：

配置：①解壓包

mkdir cudnn tar -xvf cudnn-10.2-linux-x64-v7.6.5.32.tgz -c ./cudnn

②配置

cp cudnn/include/cudnn.h ***/cuda-10.2/include cp cudnn/include/libcudnn* ***/cuda-10.2/lib64 #libcudnn*之間是有軟鏈結的，直接cp不行的話，打包複製到對應目錄再解壓就可以了 chmod a+r ***/cuda-10.2/cudnn.h ***/cuda-10.2/lib64/libcudnn*

三.配置torch

安裝：

conda install --use-local pytorch-1.5.1-py3.6_cuda10.2.89_cudnn7.6.5_0.tar.bz2 #-py3.6_cuda10.2.89_cudnn7.6.5_0.tar.bz2 僅表示對應版本

四.安裝fairseq 0.10.1

安裝：

tar -xvf fairseq-0.10.1.tar.gz cd fairseq-0.10.1 python setup build develop

報錯：

error: command '/usr/local/cuda/bin/nvcc' failed with exit status 1

解決：

fairseq安裝過程對gcc版本要求苛刻，gcc 5.4 無法編譯，換成gcc 7可以解決該問題。(重新編譯需要刪除build檔案)

執行fairseq訓練**報錯：

importerror: please build cython components with: `pip install --editable .` or `python setup.py build_ext --inplace`

解決：

五.其他報錯

報錯：

oserror: libcudart.so.10.0: cannot open shared object file: no such file or directory
#import fairseq報錯

解決：

六.備註

更穩一點

2.安裝方式

#1 conda/pip install --use-local ***.tar.gz/***.whl #2.tar -xvf ***.tar.gz cd *** python setup.py install #離線環境第二種方式好用，可以看到安裝過程，而第一種會直接報網路連線錯誤。 python setup.py build develop #編譯、安裝過程更清晰

雖然是在虛擬環境進行的安裝，但是fairseq包還是出現在了其他環境（其他包都沒有，例如torch），導致其他環境有點小甭，所以還是不建議虛擬環境上安裝fairseq。

離線環境配置 0 10 1 fairseq

Python環境離線配置

Gradle 配置離線打包環境

離線安裝docker環境

離線環境配置 0 10 1 fairseq

Python環境離線配置

Gradle 配置離線打包環境

離線安裝docker環境

相關推薦