python包Toil 跨平台工作流管理系統

2021-09-02 17:20:24 字數 749 閱讀 4868

toil是乙個開源的純python開發的工作流引擎

執行執行cwl工作流以及wdl工作流,允許跨平台開發測試部署

官網:  

生信有很多需要串流程的,toil是個不錯的工具

toil目前僅支援python2.7,且需要virtualenv才可以安裝

如果不是集群可以如下安裝

sudo pip install virtualenv

virtualenv ~/venv

source ~/venv/bin/activate

pip install toil

pip install pysam

pip install docker

集群安裝

clush -a pip install toil

clush -a pip install pysam

clush -a pip install docker

工作流程由單個作業組成。該作業的資源需求由關鍵字引數(記憶體,核心,磁碟)指定。工作流程中的原子工作單元是job

編寫toil pipeline 首先要定義好job,都是繼承job的抽象類,例子如下: 要定義好輸入檔案和輸出檔案,繼承job類:super(helloworld, self).init(*args, **kwargs);再定義好抽象方法 run,toil會pickle這個run的方法和它的引數到乙個檔案,把這個檔案拷貝到其他集群,需要執行到時候就load這個檔案ÿ

python處理跨平台應用

在工作中處理應用程式維護,遇到很多問題終於還是搞定了。記下,後面補充具體問題。coding gbk import psutil import re import sys import string import time import subprocess def startprocess cwd ...

python 跨目錄匯入包

import os,sys print file 獲取的是相對路徑 print os.path.abspath file 獲得的是絕對路徑 print os.path.dirname os.path.abspath file 獲得的是test 02的絕對路徑 print os.path.dirnam...

跨平台中對於 條件量 condition 的包裝

說明 條件量 condition 用於多執行緒同步,乙個條件量常常與乙個鎖 windows下是臨界區,linux下是pthread mutex t 同時使用 跨平台巨集 platform.hpp 的定義參見 另一篇博文 當然擷取 實現時可以換成自己習慣的定義。跨平台中條件編譯的使用使得其實現 不是那...