h5py的MPI驅動環境配置

2021-09-11 17:44:44 字數 914 閱讀 7668

h5py是python建立和操作hdf5格式的乙個模組。

h5py提供了乙個mpi介面,支援同時對乙個hdf5檔案進行並行操作。通常情況下,我們使用 pip install modulename 或 conda install modulename 來安裝python模組。但是這裡要想使用mpi驅動,前提是系統有mpi環境以及安裝h5py時需要以mpi mode進行編譯。所以此處(linux下)首先安裝hdf5:

$ tar zvxf hdf5-***.tgz

$ ./configure --prefix=/usr/local/hdf5  #安裝路徑

$ make

$ make check                # run test suite.

$ make install

$ make check-install        # verify installation.

然後安裝mpi環境:

$ tar xzvf mpi-***.tgz

//進入解壓後的安裝目錄

$ make

$ make install

//配置環境變數

$ export path=$path:/usr/local/mpi/bin

$ export manpath=$manpath:/usr/local/mpi/man

然後,手動安裝h5py模組(以mpi模式編譯):

$ export cc=mpicc

$ python setup.py configure --mpi [--hdf5=/usr/local/hdf5]

$ python setup.py build

p.s. 配置環境時重要的一點是對應安裝路徑,尤其是環境變數的路徑

python庫 h5py入門講解

h5py檔案是存放兩類物件的容器,資料集 dataset 和組 group dataset類似陣列類的資料集合,和numpy的陣列差不多。group是像資料夾一樣的容器,它好比python中的字典,有鍵 key 和值 value group中可以存放dataset或者其他的group。鍵 就是組成員...

python庫 h5py入門講解

h5py檔案是存放兩類物件的容器,資料集 dataset 和組 group dataset類似陣列類的資料集合,和numpy的陣列差不多。group是像資料夾一樣的容器,它好比python中的字典,有鍵 key 和值 value group中可以存放dataset或者其他的group。鍵 就是組成員...

h5py 必知 String儲存

1.h5py 檔案介紹 乙個h5py檔案是 dataset 和 group 二合一的容器。1.dataset 類似陣列組織的資料的集合,像 numpy 陣列一樣工作 2.group 包含了其它 dataset 和 其它 group 像字典一樣工作 看下圖 通過上圖,我們可以知道 h5py 檔案就像是...