高效能計算應用走入新時代 大計算來臨

2021-09-23 07:25:10 字數 3038 閱讀 3164

很多人也許覺得高效能計算離我們很遠,在高效能計算上的技術發展只能代表純粹計算技術上的進步。但實際上,隨著高效能計算的應用領域越來越廣,高效能計算已經走入了乙個全新的時代。以前高效能計算主要集中在傳統行業領域的研究,如石油、氣象、材料、物理和地球科學計算等領域。而近幾年隨著高效能計算技術快速發展、網際網路與傳統行業不斷地滲透和融合,推動了工業4.0、智慧型語音、人臉識別、智慧型醫療、可穿戴裝置等各個領域的快速發展,這些技術改變了我們生活的方方面面,也使得我們的生活越來越便利。

高效能計算不再是高深莫測的科研技術,它已經實實在在地影響著我們的生活。「根植應用,引領創新」也成為高效能計算新的主題。日前,來自傳統行業和網際網路行業、工業製造行業等新興領域的專家和使用者一起雲集於一年一度的高效能計算使用者大會,共同討論高效能計算發展趨勢、交流經驗、學習新技術。據了解,這個大會最早是由浪潮主辦的高效能計算大會,經過數年發展,高效能計算使用者大會吸引了英特爾、英偉達、中科院、清華大學、中石油等一批高效能計算領域的海內外知名技術廠商、應用和研究機構參與,逐漸發展成為國內高效能計算領域規模最大的大會,至今已經舉辦了五屆。

中國hpc建設取得舉世矚目的成就

國家863計畫「高效能計算機及其核心軟體」重大專項總體組組長北京航空航天大學錢德沛教授在接受採訪時強調,計算已經從最初的為了計算而發明,滲透到我們生活的各個方面,可以說如果沒有計算我們今天的社會將無法執行。美國前不久發布了關注計算的戰略,協調美國各方面的力量來發展計算戰略能力,支撐美國國家發展和社會進步。我國從2023年也開始做計算戰略研究,今年年初的時候已經提出了在十三五期間發展高效能計算的建議。

實際上,近幾年來我國在高效能計算硬體系統建設上取得了舉世矚目的成就,今年7月份,在2015國際超算大會上公布了最新的全球高效能計算top500排行榜,這是當前全球hpc業界高權威的榜單。中國的天河2號以每秒33.86千萬億次的浮點運算速度繼續蟬聯了榜單第一名,獲得了五連冠,中國hpc再次站在了世界的巔峰。

浪潮高效能計算經理劉軍對記者說,十幾年前國內大多數高於五百萬以上的hpc專案都被國際品牌壟斷,而今天國內hpc廠商已經在中國市場上擁有了最高、最多的份額,並且中國hpc已經開始走出國門,為海外的hpc客戶提供更好的產品與服務。如浪潮剛剛和思科簽約建立合資公司,補全了其產品線,也使浪潮從中國本土公司走向世界,成為乙個國際化it公司新增更強助力。

新興領域導致大計算成為趨勢

在文章開頭提到的深度學習、人工智慧和工業4.0等新興領域發展的背景下,「大計算」開始成為一種趨勢,它主要體現在兩個方面: 第一是雲計算、大資料和高效能計算等多種計算形式在逐步融合,網際網路技術、遙感技術的快速發展和對其他行業的滲透,帶來了資料的**式增長,也帶動了人工智慧等一批新技術的興起,複雜的應用使得單一架構的資料中心難以勝任處理工作,需要將不同的計算方式予以融合。

第二是基礎架構如計算、網路、儲存等的界限也越來越模糊,走向軟體定義的趨勢。

同時,大計算也代表著乙個更大計算力的時代——百億億次。資料的**式增長帶來的直接結果,就是對計算力的需求更加旺盛。在人類社會的資料量以eb級的速度增長的情況下,需要一種新型的低成本、高效率計算架構(主要是晶元、網路技術的顛覆性變革),才能完成資料處理的工作。

劉軍認為在這樣乙個新的計算時代我們將面臨三方面的挑戰。首先是我們希望用乙個大計算解決所有企業計算架構的問題,但是不同的應用應該具備不同的計算特徵,我們需要乙個具有適應性的計算環境。第二個挑戰是統一的硬體架構需要面對多樣的計算挑戰,如大資料、科學工程計算和深度學習等,它們對後台的計算架構需求不一樣,硬體架構應該如何應對這個挑戰。第三個挑戰是混合的計算架構如何提**用需要的靈活性。

浪潮計算+策略實現軟體定義的hpc

浪潮今年4月份提出了乙個計算+的策略來應對以上三種挑戰,其核心理念是通過軟體定義的方式實現整個計算架構的融合,將伺服器、儲存、網路等合為一體。基於這樣的策略,浪潮在三個方面進行了準備。

第一是提供乙個具有適應性的計算環境。在不同的計算中不同應用對於計算特徵的需求完全不同,我們不可能借助乙個環境做一切事情浪潮提供了更多的可能性和選擇性。如浪潮可以提供32路高階計算裝置,明年64路關鍵應用主機也將推出。單機支援1000核以上的計算能力。雖然這屬於小眾產品,但是有了它,大規模的工程**、機器化的數值天氣預報、光譜分析都可以通過這樣的模型來完成。此外,浪潮提供高密度的hpc集群產品,在分子動力學、電池模擬、網路安全、深度學習等領域幫助構建計算架構。

第二是融合基礎架構。計算、儲存和網路正在實現融合,浪潮可以提供乙個整機櫃式的基礎架構平台,它在乙個機櫃裡面用相同的物理規格實現不同的計算功能,通過軟體定義的方式實現資源池化和共享。並且在整機櫃中,供電和散熱也可以實現統一的共享,對於整個機櫃所有的計算資源實現統一管理,實現機櫃全域性管理的融合。

第三是軟體定義的hpc。軟體定義這個詞近些年非常熱,應用到hpc中就是在前面適應性的計算環境和融合架構基礎上,加上提供軟體定義。這裡面應該包含軟體定義的資料服務、軟體定義的網路服務和軟體定義的資源服務三個層次。

為hpc未來做技術儲備

除了高效能計算產品的準備,浪潮還和英特爾在四年前成立了中國雲計算實驗室,為未來做技術儲備。劉軍透露,這個實驗室在過去幾年中主要是基於英特爾眾核計算技術做一系列相關工作,在兩方面取得了比較突出的成果。乙個是新的眾核計算技術和實際應用的結合,在這個實驗室裡針對國內主要行業的應用,不論是傳統的科學工程計算、石油、氣象應用,還是新興的網際網路學習應用都和眾核計算結合的非常好。眾核技術在效能功耗方面有著非常突出的表現,如果有更多應用發揮出眾核計算的優勢,不管是對計算效能的提公升還是對降低系統功耗都有非常大的作用。

第二個成果是浪潮基於這個聯合實驗室做了大量人才培養和技術培訓的工作。浪潮在每年的asc超算大賽裡都設定相應的採用中和技術解決實際問題的試題,這激發了很多大學生通過這樣的機會喜愛上hpc,並且在今後投身到hpc的實驗中。

浪潮已經基於聯合實驗室不斷在國內各地甚至香港地區開設了基於眾核技術訓練班,使得浪潮有原來越多的技術人員、開發人員、學生能夠了解學習關於眾核技術在hpc的變成和應用,使得新的技術可以更快更好的進入到實際應用當中。

認知計算 開啟商業新時代

備受ibm推崇的 認知計算 到底有什麼魔力,又如何能夠支撐ibm的 轉型大業 引領ibm未來5年甚至更長時間的前進之路 而更重要的,對於企業而言,認知計算與我有什麼關係?如何能幫我提公升競爭力,領先對手一步?大資料加速認知計算落地 首先設想一下這樣的場景,在你身邊有乙個機械人,在你要出行時它自動幫你...

HPC高效能計算

l0 伺服器,儲存,網路等硬體環境 l1 系統環境 windows,l2 集群管理 l3 行業應用 集群管理 執行庫環境 mpiopenmpi mvapic h2 mpi 標準 message passing inte ce 訊息傳遞介面 mpi是程序級別的,這些函式庫裡面主要涉及的是兩個程序之間通...

高效能計算複習

高效能計算 high performance computing,縮寫hpc 指通 常使用很多處理器 作為單個機器的一部分 或者某一集群 中組織的幾台計算機 作為單個計算資源操作 的計算系統 和環境floatskm gtp 36912 1518千百萬 十億萬億 千萬億百億億 hello world的...