能源行業邁入大資料時代
隨著資料總量的持續增長和急速膨脹，大資料時代已經來臨，石油、電力等能源細分行業紛紛拉開了大資料開發應用的序幕。如何從海量資料中高效獲取資訊，有效地深加工並最終得到有用資料是能源企業涉足大資料的目的。
對石油行業來說，眾多企業正在把更多的新技術應用於戰略決策、科技研發、生產經營和安全環保等各個領域，目的是為了從大資料資源中挖掘更多的財富和價值。大資料應用是石油行業資訊化深入、it與業務深度融合的必然趨勢，在我國石油石化行業應用的前景將越來越廣闊。隨著石油儲備的逐步減少，石油石化行業產業鏈中的勘探、開發難度日益增大， 資訊化的成熟度已經成為影響行業增長幅度的首要因素。精準、快速的地質勘測成為世界能源巨頭們倚重的核心競爭力之一，其中高效能計算技術和大資料技術的應用是關鍵因素。
油氣勘探海量資料處理需要高效能計算
目前在石油勘探中最常用的是地球物理方法。地球物理方法是使用現代物理方法進行地質勘探的方法，包括電法、磁法、重力法、放射性法、**波法等，其中以**波法最為重要。為了了解和模擬出地下數千公尺的地質構造，通過**波反射方式來收集海量資料，一般二維資料可達1~2tb，三維資料可高達幾百tb甚至pb級， 然後進行大量的密集計算和模擬，計算結果出來後還要轉換成直觀的可視畫面，方便專家對資料進行解釋，為油氣鑽井定位提供參考。因此，這些海量資料的處理只有借助高效能計算才能實現最佳的勘探效益，這也是在石油勘探領域高效能計算需求的主因。
由於石油勘探行業的特殊性和複雜性，石油勘探對高效能計算提出了非常苛刻的要求。過去十年中，石油勘探計算處理多採用大型機或高效能計算機，但目前高效能計算機系統在計算效能、系統建設與執行成本等方面已經面臨著許多問題。讓石油勘探企業感到頗為頭痛的問題主要集中在三大困境：一是計算能力需求和cpu處理器效能落差越來越大，目前通過不斷提高cpu處理器的工作頻率來提高計算效能的技術路線已經逐步走向其極限；二是石油勘探高速增長的資料和儲存擴容越來越不匹配；三是能耗制約越來越嚴重，高效能計算機的體積大、耗電多等弱點以及對龐大的計算機房空間需求、空調需求和用電量等已經成為石油勘探資料處理的一大挑戰。
**資料資料的大資料特徵
bgp（中國石油集團東方地球物理公司）是中國石油天然氣集團公司獨資的地球物理專業化技術服務公司，主要從事陸地、淺海**勘探採集、處理、解釋及物探裝備和軟體研發，業務分布在全球34個國家，陸上**勘探市場份額居全球第一位。現擁有2.6萬員工，3000多it人員和300多軟體開發人員，在全球有23個處理中心，約9萬cpu核和80萬gpu核，運算能力約2pflops，儲存容量超過25pb。
中國石油集團東方地球物理公司研究院的總工程師賴能和先生曾在華為雲計算大會2013上做了《大資料技術在石油勘探領域的應用》的主題演講，對**海量資料的採集與處理過程做了詳細闡釋。
石油勘探過程產生的大資料有自己獨特的「4v」特徵：
1、資料海量：以bgp為例，每天會產生大於7tb的生產資料，在**資料處理過程中還會產生大量的中間過程資料。
2、3、計算量大：以bgp為例，54tb的原始資料通過4000個cpu 的計算集群處理，需要50多天時間。
4、處理流程複雜：**資料處理過程涉及到頻繁的io和資料庫，操作複雜。
**資料的快速增長對於儲存提出了巨大需求，也對傳統的hpc軟硬體架構提出了新的挑戰。
華為石油勘探hpc解決方案實現高計算、大儲存能力
針對石油行業的特點和需求，華為提出了石油勘探hpc解決方案，包含以下幾個部分：
1、計算集群系統
計算節點和胖節點採用華為刀片伺服器，提供強大的計算能力，特別是浮點計算能力，以完成**資料處理中巨大的計算任務。
2、儲存系統
儲存部分採用華為oceanstor 9000大資料儲存系統（簡稱oceanstor 9000）。
與傳統的nfs和lustre方案不同，oceanstor 9000採用全對稱分布式架構，每個節點都可以提供io和儲存單元，提供業務訪問、資料處理和儲存的能力，因此可以輕鬆完成節點擴容，實現系統效能和容量的線性擴充套件。
其全對稱scale-out架構，通過集群模式、自動負載均衡、全域性快取等技術來整合和管理系統資源，有效提公升儲存系統效能，縮短**資料處理的作業週期。oceanstor 9000還具備高可靠性和硬體容錯能力，保障作業正常執行。它還能提供靈活的組網方式，前後端網路均支援infiniband或者10ge乙太網高速互聯，能有效滿足石油勘探hpc場景的高頻寬、低時延需求
3、網路互聯
原文發布時間為：2023年04月15日
大資料時代 pdf 沒有秘密的大資料時代
一切都有痕跡 沒有秘密的大資料時代 本文首發於總第893期 中國新聞周刊 最近有條微博熱搜 有粉絲根據偶像的行程和曬出的 運用了谷歌地圖，通過對比和推理，得出了他與某網紅戀愛的結論。這讓人不禁感嘆，如果警察把專門調查偶像的粉絲招聘去，估計沒有破不了的案子。這是個技術含量高的活兒，偵查 控評 打榜，簡...
大資料時代
大資料 巨量資料 big data 指的是需要新處理模式才能具有更強的決策力，洞察力和流程優化能力的海量 高增長率和多樣化的資訊資產。4v特點 volume 大量 velocity 高速 variety 多樣 value 價值 資料倉儲，英文名稱為data warehouse，可簡寫為dw或dwh。...
大資料時代
不斷的從 發現這個很具廣告特色的語句，他們總是鼓吹大資料時代的來臨，好像如果你沒抓住他，你就要立馬落後別人好幾條馬路。各種公司企業對他們的產品也宣稱產品是大資料時代不可或缺的科技 乙個錢學森相當於10個王牌師。國內到處充斥著浮躁，不管是大學還是業界，大家都想賺點錢一夜暴富然後過上高富帥的生活。大資料...