大資料處理僅有Hadoop是不夠的

2021-06-23 10:07:07 字數 1782 閱讀 1730

自從三大資料庫廠商甲骨文、ibm和微軟在2023年不約而同地宣布支援hadoop後,在企業級市場上,hadoop基本上也充當著大資料的代名詞。時至今日,這種狀況或許應該改變了。

nosql日漸重要

由於hadoop的高調,很少有人注意到,在宣布支援hadoop的同一年,這三大關係型資料庫廠商還分別宣布支援非關係型資料庫nosql。

作為開源軟體,nosql(not only sql,不僅僅是sql)的誕生和發展也是為了滿足web 2.0特別是社交網路對於資料庫「三高」的需求,即對資料庫高併發的讀寫、對海量資料的高效儲存與訪問、對資料庫的高可擴充套件。這些恰好是關係型資料的短板所在。

然而,要把在網際網路上如魚得水的nosql,應用到企業級市場有點令使用者不能完全放下心來。畢竟,網際網路極少跑關鍵業務應用,而且哪個網際網路巨 頭沒有中斷過服務,但宕機對於網際網路公司來說,更多的是灰頭垢面,比較難堪而已。但對於那些把企業的身家性命都搭在it之上的企業級使用者而言,其關鍵業務 應用是容不得半點閃失的。

「oracle nosql database分為免費和付費兩個版本,同時提供商業支援。作為可擴充套件、高度可用的鍵值資料庫,oracle nosql database通過與oracle event processing整合,提供可擴充套件的鍵/值儲存,從而可高效捕獲實時大資料。」甲骨文公司副總裁及大中華區技術總經理喻思成表示,

喻思成介紹說,基於近幾年的發展,在真正企業級的應用層面,付費商用版更多地被客戶認可。如visa公司最近部署了nosql,來檢測盜刷卡情 況的發生。「很多企業在發展到了hadoop層面時,或者大資料技術帶來一定價值後,業界需要一家廠商,來全面支援以上所有的架構,這也同時證明了甲骨文 在大資料層面的行業領袖地位。憑藉hadoop、nosql和sql的共存與融合,大資料技術將會有更高的成熟度。」

整體解決大資料

「結構化資料和非結構化資料彼此間是並存、包容的關係,對兩者處理的整合構成了完整的大資料處理。」喻思成認為,「收購sun後,甲骨文具備了軟硬體的整合能力,進而形成整合系統,為客戶提供具備大資料完整處理能力的解決方案。」

據介紹,nosql在非結構化處理上,是通過與oracle event processing(oep)整合,實現高效捕獲實時大資料,然後通過mapreduce的方法進行處理和查詢。oep構建的實時篩選、關聯和處理事件 的應用,有助於消除、整合、關聯和篩選資料,避免資料倉儲雜亂不堪,從而具備實時分析大量資料流的能力。

hadoop出現後,甲骨文通過hadoop企業版和oracle nosql資料庫,構建大資料處理平台。

之後,甲骨文又通過融合資料庫引擎(dbe)、儲存、伺服器和光纖,形成了oracle exadata處理結構化資料的資料庫雲平台。再通過oracle 大資料聯結器優化了 hadoop 與 oracle 資料庫和 exadata 之間的整合,將hadoop系統無縫地連線到oracle資料庫系統中,實現非結構化和結構化資料的拼接,從而形成完整的大資料解決方案。

在資料分析上,oracle exalytics商務智慧型雲伺服器採用業界標準硬體、商務智慧型軟體和記憶體資料庫技術而開發,是全球首款專門為提供高效能分析、建模、發現和規劃而設計的 整合系統。它通過超高頻寬的infiniband匯流排從oracle exadata上載入和讀取資料。

在決策支援階段,資訊從不同的源系統載入,儲存在可動態支援變化資料的分面資料模型中。作為企業資訊探索的利器,oracle endeca information discover被用於對這些多維多變資料進行高階、直觀的探索和關聯分析。

「憑藉全面、軟硬一體化、高效能和高價效比的突出特點,目前,oracle大資料解決方案已獲得眾多企業使用者的支援。」喻思成表示。

Hadoop大資料處理

hadoop大資料處理 以大資料處理系統的三大關鍵要素 儲存 計算 與 容錯 為起點,深入淺出地介紹了如何使用hadoop這一高效能分布式技術完成大資料處理任務。本書不僅包含了使用hadoop進行大資料處理的實踐性知識和示例,還以 並茂的形式系統性地揭示了hadoop技術族中關鍵元件的執行原理和優化...

大資料處理架構Hadoop

hive 資料倉儲 把sql語句轉換成mapreduce作業 pig流資料處理 乙個基於hadoop的大規模資料分析平台提供類似sql的查詢語言pig latin oozie作業流排程系統 hadoop上的工作流管理系統 zookeeper分布式協調服務 提供分布式協調一致性服務 hbase列族資料...

大資料處理框架 Hadoop簡單了解

大資料 收集 整理和處理大容量資料集,並從中獲得見解所需的非傳 略和技術的總稱。人工智慧 圖靈測試 指人和機器在被隔開的情況下,通過一些裝置向機器隨意提問,經過多次測試後,如果有超過30 的人不能確定被測試者是人還是機器,那麼這台機器就通過了測試,並被認為具有人類智慧型。如果乙個東西具有學習 分類和...