目錄htcondor是威斯康星大學麥迪遜分校構建的分布式計算軟體和相關技術，用來處理高通量計算（high throughput computing ）的相關問題。高通量計算中的throughput應該是吞吐量的意思，也就是排程計算機資源的能力。與高效能計算（hpc）不同，高通量計算（htc）應對的問題是在高效能的同時能夠長時間穩定執行的能力，並充分利用集群或網路內計算資源。長時間計算時，集群或網路內計算資源往往是不可靠的，這中間蘊含了計算資源管理和任務排程的問題。
具體來說，htc的思想就是將規模的密集運算拆分成乙個個的子任務，交給集群計算機運算。htcondor提供了如下功能：
發布任務：根據設定的集群內計算資源條件，將任務發布到集群計算機。
排程任務：任務能夠傳送到滿足條件計算機中執行，或者遷移到另外一台計算機。
監視任務：隨時監視任務執行的情況和計算資源的情況。
注意拆分任務這一步還是需要使用者自己控制的，拆分合適粒度的並行任務，有助於最大程度的負載均衡。
除此之外，乙個不能忽視的的問題就是磁碟io的問題。htc往往伴隨著海量資料，巨量資料的磁碟io必定會造成效能瓶頸。htcondor自帶了一種檔案傳輸機制，發布任務的時候能夠自動將資料傳送到對應的機器中執行。當然，也可以嘗試搭配分布式檔案系統如hdfs進行計算。
準備在這一系列博文中，通過乙個具體的例項，總結下htcondor的使用過程，也算對分布式計算或者集群計算有個感性的認識。
1.高通量計算框架htcondor(一)——概述
簡要介紹了高通量分布式計算與htcondor。
2.高通量計算框架htcondor(二)——環境配置
詳細展示了htcondor環境的搭建過程。
3.高通量計算框架htcondor(三)——使用命令
介紹了htcondor的使用環境，以及經常使用的命令。
4.高通量計算框架htcondor(四)——案例準備
準備乙個實際案例做分布式計算。
5.高通量計算框架htcondor(五)——分布計算
使用乙個例項進行簡單的分布式計算。
6.高通量計算框架htcondor(六)——拾遺
總結了使用htcondor過程中的一些問題與建議。
[1]. 說說高通量計算(htc)、高效能計算(hpc)和多工計算(mtc)
[2]. htcondor官網
[3]. hadoop到底是幹什麼用的?
[4]. condor 使用詳解
**和資料位址
高通量計算框架HTCondor 三 使用命令
目錄4.相關 htcondor環境配置完成後，安裝檔案目錄如下 其中bin目錄裡面存放了一系列condor 開頭的可執行程式，正是通過這些指令程式來實現分布式計算的。其中有個gui程式condor birdwatcher.exe，開啟後執行介面如下 從程式名稱可以看出這是個檢視器程式，分別顯示con...
hadoop批量計算框架 MapReduce
結合自身的經驗記錄，mapreduce中的一些知識點以及乙個wordcount小實踐 核心思想 分而治之 map程式 需要根據自己的需求開發 shuffle 緩衝區大小設定 core site.xml設定為100m io.file.buffer.size 100000000 以位元組為單位 hdfs...
SDRAM容量計算
行位址12位，列位址8位，資料16位，片內有四個組。那麼這塊晶元的容量大小是多少？怎麼計算的？具體計算如下 行位址12位，說明行數是2的12次方。列位址8位，說明列數是2的8次方。資料個數就有2的20次方，就是1mb。即bank大小為1mb。在1mb中，每個資料16位 bit 每位元組為8bit。所...