大資料概念已經在中國企業界「飄」了好久了，但不得不說，目前面臨的窘境讓人十分尷尬。到目前為止，企業界都還沒有亮眼的實施案例。原因何在?
尤其是能源等傳統行業，不是一直都由工程師和科學家主導嗎?這些數字型人才不是一向善於運用精湛的學科能力獲取事實和資料，進而有理有據地得出結論、制定決策嗎?那些連線著新型感測器、布滿高畫質監視器的控制中心，不是能夠實時採集龐大的資料嗎?
一連串的疑問，指向了乙個核心問題：數字能力有沒有轉化成企業發展的關鍵資源?這些資料資源產生之後，到底有多少企業決策者能足夠自信「玩得轉」?大資料是讓他們更輕鬆自如了，還是反而無所適從了?
為了回答這些關鍵問題，埃森哲針對全球油氣行業管理層進行了調查。結果顯示，超過四分之三的受訪者表示，企業高層領導都在著力打造或全力部署基於事實的決策方法。可是，行業中竟有五分之四的受訪者都面臨資料整合的窘境：他們在油氣業務中對於資料分析的做法依然基本是零散的、孤立的，仍然不能使用覆蓋整個企業組織的整合化方法來分析資料。
這可謂是能源企業在大資料時代進行數位化轉型的最大困惑。如果不能破解這種數位化疑惑，能源企業就難以從新技術的鉅額投入中獲得理想回報，更不用說通過資料分析取得市場競爭的先機了。
實際上，十多年來，伴隨著以it和網際網路技術為基礎的數位化程序，油氣企業對某些突出的技術發展趨勢已有所認識，但直到最近幾年，促使企業真正轉型、實現高效管理的核心技術才發展成熟。
一是資訊科技與運營技術的融合。油氣企業可利用裝置捕獲和收集資料，並將資料整合進it系統中進行分析，該過程往往實時完成，以支援優化鑽探生產、實現裝置監控與視覺化、完善環境、健康與安全(ehs)監測。
二是移動技術及技術消費化。移動通訊及使用者友好型資訊科技支援遠端資料訪問，有助提高企業運營的可視性和響應速度。隨著可攜式移動裝置普及，在企業職能部門或操作現場的油氣工人也可以通過非常直觀的應用來幫助收集、利用、處理和分享相關工作資料。
移動平台方面的投入必將拓展實時資料和分析法的使用範圍。已有不少國際領先油氣公司的員工使用ipad進行專案管理，這反映出自帶裝置辦公(byod)的便利性和受歡迎的程度。
三是顛覆性架構(如雲計算)。這種按需分配的動態特徵正在重塑資料中心的資訊科技運作及採購模式。這一發展趨勢將影響資料中心的it運營模式，使靈活採購成為現實。企業通過外部部署模式支援外包，以便更加專注於自身的優勢業務，並以合理成本管理海量資料的計算能力。
四是大資料分析法與記憶體計算。大資料反映了資訊的指數式增長、可獲得性與使用情況，這些資訊型別多樣，但不成體系。隨著資料量不斷增加，計算速度變得至關重要。開源工具可將海量資料轉換為有意義的洞見，自動對傳統上雜亂無序的資料進行整合。
因此，隨著資料分析大規模普及的日益臨近，油氣企業不難發現使其技術投資實現豐厚回報的潛在機會。
首先看上游領域。非常規油氣井的產量幾乎毫無規律可循。如何有效開採數百個非常規油氣井是保證盈利能力的關鍵所在。先進的演算法和強大的計算能力有助分析最龐雜的資料集，進而幫助企業大規模勘探蘊藏在頁岩層中和海底的油氣資源。強有力的分析工具支援對多項資料的集合展開分析，而解釋性軟體和視覺化工具則可為廣大的業內人士提供更加直觀的資訊。模擬石油在岩層中的流動情況，可以確定最佳的油井位置。有效利用資料分析可以使開採率提高3%到5%。
對於能源企業來說，非常規能源領域的跨資產分析法，是一大尚未開發的空白。如今，很多企業開始著眼於所有已鑽探的油氣井，通過整合現有的統計資料，找出其中哪些與即將開採的油氣井最為相似，從而獲得更多可借鑑資料。新的視覺化工具使科學家們能夠發現過去未曾發現的規律，這或許可以幫助企業將生產效益提公升幾個百分點之多。
為了提高資料分析成果，企業首先必須對現有能力進行客觀審視。一般來說，需要對資料和技術兩個方面進行評估，但是，如果站在整個組織的高度看待變革，就還需要考慮流程和員工方面的因素。這意味著，需要將資料和分析技術納入具體的工作職責和工作流程中進行分析。此外，員工對於資料和分析技術的態度，也需要連同人才問題以及組織變革一起進行評估。通過制定和執行覆蓋全部組織的綜合資料分析戰略，能源企業往往能夠獲取最大效益。
其次，管理者應當採用端到端的流程視角，整合企業和運營資料分析。為此能源企業應當關注前台運營和後台操作之間的脫節問題，努力將運營技術和資訊科技整合在一起。確定覆蓋整個組織的資料分析戰略並在內部大力宣傳。
這一方案需要利用it知識獲取資料，借助分析技術與建模技術對資料進行深入分析，再結合深厚的行業知識形成洞見，最後付諸行動。
最後，管理者還應該推動企業文化轉型，建立一家敏銳分析型企業。這就需要打破業務部門與it部門之間的界限，採用開放式思維，建立相互協作的企業文化。企業開發人員需要將資料採集方法納入使用者介面設計，讓作為使用者的業務部門知曉資料採集過程，且不會令他們反感。
總之，一家油氣企業要想成為資料分析領域的領軍者，就務必將所有能力結合起來，深深植入企業的競爭力核心之中。組織必須在資料、技術、流程、員工和文化等領域採取一體化行動，才能成功實現從發現問題到業務績效提公升的轉型。(財富中文網)
大資料概念
在網際網路技術發展到現今階段，大量日常 工作等事務產生的資料都已經資訊化，人類產生的資料量相比以前有了 式的增長，以前的傳統的資料處理技術已經無法勝任，需求催生技術，一套用來處理海量資料的軟體工具應運而生，這就是大資料！換個角度說，大資料是 1 有海量的資料 2 有對海量資料進行挖掘的需求 3 有對...
大資料概念
1.列舉hadoop生態的各個元件及其功能 以及各個元件之間的相互關係，以圖呈現並加以文字描述。hdfs hadoop distributed file system 基於google發布的gfs 設計開發，執行在通用硬體上的分布式檔案系統。除具備其它分布式檔案系統相同特性外，還有自己的特性 高容錯...
大資料 基礎概念
hadoop 分布式系統基礎架構 入門學習資料 spark 基於記憶體的計算框架 spark streaming sparksql spark的重要組成部分 hbase 可伸縮，面向列的分布式雲儲存系統 hive 建立在hadoop上的資料倉儲基礎架構。hive定義了簡單的類sql查詢語言，允許使用...