《平行計算的程式設計模型》一3 2 設計理念和根據

2021-09-23 02:12:02 字數 1293 閱讀 2823

shmem和openshmem的構思和發展都假設它們和底層硬體系統體系結構有密不可分的關係。由克雷研究公司開發和**的克雷t3d和t3e計算機系統在其網路架構中包含幾個高階的硬體加速特徵,是與shmem合作設計的,用以最大化可用的頻寬及最小化系統的3d torus網路延遲[85]。克雷公司,即原來克雷研究公司的現代同名,在其最新的gemini網路架構[86,90]中也延續了相同的設計理念。當2023年sgi收購了克雷研究公司,也同時獲得了shmem的智財權,sgi設計了numalink體系架構[250]和共享儲存的能力以最大化效能,shmem再一次成為開發這些的最佳api。兩個公司仍繼續關注於確保軟硬體的高效能實現,也使shmem或openshmem api的能力得以發揮。

ibm在darpa hpcs專案下開發了私有的網路裝置torrent [266]。torrent的主要目標之一是對類似於openshmem的pgas程式設計范型進行硬體加速。torrent具有一些高階的網路加速特徵,包括遠端儲存訪問能力(remote memory access,rma),共同加速單元(collective acceleration unit,cau),並支援豐富的原子記憶體操作集(atomic memory operations,amos)。amo特徵包括定點(nop,sum,min,max,or,and,xor(有符號和無符號))和浮點(min,max,sum,prod(單精度和雙精度))能力。這些特徵使torrent可以用mpi和openshmem一起來開發硬體全部的效能,並為pgas語言提供了基礎。圖3-1描述了ibm torrent網路晶元,是系統的計算或儲存元件及環境的網路部分可能的一種典型整合方式。對超大規模系統(百億億次)來說這很必要,以便將網路和儲存以及處理能力放在同等位置,這能提高能力和頻寬,並降低延遲,也會對所有pgas型別的程式設計模型產生積極的影響。

直到現在,這些能力和整合等級只存在於來自如克雷、sgi和ibm的具有大量私有網路投資的高階系統中。但在2023年,mellanox [188]和hp在橡樹嶺國家實驗室超大規模系統中心的指導下,宣布對openshmem api以及使該模型充分生效的許多關鍵底層硬體特徵的支援。雖然這種合作設計的重心聚焦於對openshmem加速的支援,但這也會使其他pgas程式設計模型成為可能。這也是商用網路第一次設計實現包含支援openshmem基本要素的硬體、韌體及系統軟體。除了在私有和商用網路的進步,筆者也見過將openshmem api的能力嵌入fpga的專案[267]。這些輕量級的實現將開發那些部署在未來超大規模系統中的硬體效能。對目前在千兆及未來千兆兆操作的系統所承載的工作量來說,將網路提公升到「一等公民」的位置很重要。

《平行計算的程式設計模型》一1 11 總結

mpi第乙個版本發布距今已逾20多年了,在並行開發應用領域取得了巨大的成功,在大規模並行軟體開發應用中佔主導地位。mpi成功的原因在於mpi為並行軟體開發提供了健壯和完善的解決方案,並允許使用者高效地實現大規模並行軟體開發目標。mpi成功的具體原因可參考文獻 129 mpi定義的開放程序和避免了其他...

《平行計算的程式設計模型》一3 7 5 收集

集合函式執行聚集收集,將元素塊從每個參與pe的對稱源物件拷貝,並連續複製到參與集合操作的每個pe上的 更大的 對稱目標陣列,程式設計師必須確保對稱目標陣列足夠大以便接收聚集的資料。對32和64位的資料型別都有收集函式,且對每種都有兩個收集函式變體 一般的collect允許每個pe貢獻不同數目的元素,...

《平行計算的程式設計模型》一2 3 3 屏障

接下來介紹的是核心api在執行屏障時的呼叫操作 與其他的屏障實現不同,gasnet中的同步實現是 分階段 且支援可選的id匹配。gasnet的分階段屏障特性在gasnet barrier wait的規範描述中非常明顯,其描述為 這是乙個只有在所有節點呼叫gasnet barrier notify 函...