新疆石油勘探領域Bladmin儲存系統應用案例

2021-09-23 02:22:19 字數 2453 閱讀 6590

一、 應用單位

新疆油田公司勘探開發研究院地球物理研究所(以下簡稱新疆石油地物所),位於新疆首府烏魯木齊,是集石油**勘探資料處理、資料解釋及地質綜合研究和計算機軟體開發為一體的高科技單位。2023年中油股份公司為改善勘探環境,對新疆油田pc集群**處理系統進行了擴充。目前該所已擁有1000多個計算節點1900多個cpu的pc集群**處理系統、56個cpu的sgi origin 2000並行計算機系統、200多套高效能圖形工作站,資料儲存系統總容量達到了180tb。多台萬兆高效交換機進行互聯,使新疆油田公司物探技術水平繼續保持在世界領先水平。被稱為中國西北地區最具影響力的**資料處理解釋中心。

二、 專案背景

新疆石油地物所肩負的石油勘探**資料處理工作的主要原理是,通過人工的方式產生**訊號(放炮),然後將地下地質的**訊號,通過地面感應器提取後,利用大型計算機或機群(cluster)(包括刀片伺服器集群和普通伺服器集群)通過專業的paradigm epos 3 .0、 cgg geocluster 4.1等多套處理軟體系統和一套完整的疊前時間、深度偏移系統,進行資料的處理工作,形成地下的構造以及成像,從而掌握地下的油氣構造,為石油鑽井提供更加可靠的勘探資料。針對新疆應用伺服器管理方面,具體需求主要體現在以下幾個方面:

大量勘探**資料處理系統的快速部署。勘探**資料處理往往需要使用大量的計算節點並行執行,雖然新疆油田公司地球物理研究所現有**處理軟體可以完成計算任務在這些節點上的自動分發,但與之匹配的作業系統以及相關配置資訊的部署工作卻依然難以統

一、快速的完成,這極大地增加了系統管理人員的負擔與啟動計算任務所需的準備時間。

計算資源的排程與充分利用。石油**資料的處理帶有鮮明的階段特徵,每一階段的處理內容、計算規模以及系統要求都截然不同,這些系統層面的差異導致計算資源無法被充分的排程以滿足不同任務不同階段的計算需求,而固定每個節點計算任務的使用模式又無法對計算資源進行充分的利用。

降低管理與維護成本。雖然兼具高效能與高可靠性的san或nas裝置已經廣泛應用於儲存領域,然而pc集群所裝備本地磁碟卻遠遠無法達到與之匹配的可用性,磁碟以及磁碟相關的散熱裝置損壞已成為大規模集群管理與維護的主要負擔,而硬體raid以及全光纖san連線的成本也無法被計算集群所接受。

節省能源消耗。供電保障、冷卻和總體能源消耗已成為國內外超大型資料中心的主要成本負擔與發展瓶頸之一,縮短部署、排程甚至等待的時間,將從最大程度上提公升系統單位能耗下的有效計算能力,同時可以盡可能的降低對機房供電保障和冷卻系統的負擔。

異構系統的支援。目前集群儲存系統只支援linux客戶端、很少有支援其他系統客戶端。

隨著新疆石油地物所計算規模的不斷擴大,更有效的快速部署、排程與高可靠性方案將成為充分利用計算資源、降低能耗與維護成本的自然訴求,異構平台的支援、海量儲存環境的高可用性,是保障計算環境高效、穩定工作的基礎。

三、 解決方案

下圖是根據新疆石油地物所目前環境進行針對客戶的需求的bladmin儲存管理伺服器實施圖

bladmin架構的新疆石油地物所網路拓撲圖

通過bladmin網路儲存的新型計算環境管理系統,使用低成本的千兆以太網路直接啟動計算節點,並且採用ip san技術儲存伺服器中的系統資料。

bladmin由管理伺服器、網路儲存裝置和計算節點(伺服器節點集群包括:刀片伺服器集群、塔式伺服器集群、機架式伺服器集群)等硬體通過高速網際網路絡連線而成,並在該系統中執行bladmin系統管理軟體。管理伺服器和網路儲存裝置可以共用一台物理機,我們統稱為儲存管理伺服器。

本系統提供集中、可靠、安全、穩定的資料儲存功能,並實現大量計算節點的快速部署、角色的動態切換、節點監控等模組功能。

在本系統中:

網路硬碟:網路中的所有儲存資源統一存放在儲存管理伺服器上,形成乙個大的虛擬儲存池,儲存管理伺服器將該儲存池中的儲存空間按需分割成任意大小,供集群計算節點使用。每個空間稱為一塊「網路硬碟」。服務安裝在網路硬碟上,集群計算節點通過網路,可以把網路硬碟對映成為本地硬碟,通過執行硬碟上的服務來滿足計算節點的使用需求。

服務(作業系統以及應用軟體的組合):存放在相應的網路硬碟上(網路硬碟都集中存放在儲存管理伺服器上);

計算節點啟動後,bladmin把網路硬碟對映成為計算節點的本地硬碟使用;

儲存管理伺服器完成整個系統內部運轉的監控管理任務,並為其提供統一的儲存池。

四、 使用者價值

五、 應用效益

新疆石油地物所通過使用bladmin系統,通過按需分配、快速部署、靈活切換排程、時時監控等功能,不僅使新疆石油地物所的計算作業成功率提高了一倍,而且在管理和維護方面真正起到了快捷方便的功效。對人員來說,減短了大量的工作任務;對長期使用的節點來說,本地硬碟的節省間接的提高了計算節點的壽命,節省了損壞造成的成本控制;對提高工作效率來說,充分體現了省時省力;對資源的分配上,使各個節點的使用率大幅度提公升;對快速轉換來說,部署功能快捷、方便、按需分配體現的淋漓盡致。