常見的七種Hadoop和Spark專案案例

大資料中比較火爆的hadoop、spark和storm，最常見的七種專案你們是否已經了解到位了呢，下面一起了解一下吧

一、資料整合

稱之為「企業級資料中心」或「資料湖」，這個想法是你有不同的資料來源，你想對它們進行資料分析。這類專案包括從所有**獲得資料來源(實時或批處理)並且把它們儲存在hadoop中。「企業級資料中心」通常由hdfs檔案系統和hive或impala中的表組成

二、專業分析

許多資料整合專案實際上是從你特殊的需求和某一資料集系統的分析開始的。這些往往是令人難以置信的特定領域，如在銀行領域的流動性風險/蒙特卡羅模擬分析。

三、hadoop作為一種服務

在「專業分析」專案的任何大型組織(諷刺的是，乙個或兩個「資料整理」專案)他們會不可避免地開始感覺「快樂」(即，疼痛)管理幾個不同配置的hadoop集群，有時從不同的**商。

四、流分析

很多人會把這個「流」，但流分析是不同的，從裝置流。通常，流分析是乙個組織在批處理中的實時版本。在某些情況下，這是一種新的型別的交易系統，分析資料位的位，因為你將它併聯到乙個分析系統中。這些系統證明自己如spark或storm與hbase作為常用的資料儲存。

五、複雜事件處理

雖然還沒有足夠快的超低延遲(皮秒或納秒)的應用，如高階的交易系統，你可以期待毫秒響應時間。有時，你會看到這樣的系統使用spark和hbase——但他們一般落在他們的臉上，必須轉換成storm，這是基於由lmax交易所開發的干擾模式。

六、etl流

有時你想捕捉流資料並把它們儲存起來。這些專案通常與1號或2號重合，但增加了各自的範圍和特點。，這些幾乎都是kafka和storm專案。spark也使用，但沒有理由，因為你不需要在記憶體分析。

七、更換或增加sas