SparkStreaming和storm的區別

2022-03-12 09:00:59 字數 397 閱讀 6081

這是2種不同的架構。

他們的區別是sparkstreaming的吞吐量非常高,秒級準實時處理,storm是容錯性非常高,毫秒級實時處理

解釋:sparkstreaming是一次處理某個間隔的資料,比如5秒內的資料,批量處理,所以吞吐量高。

storm是來一條處理一條,所以速度快,不存在丟失資料

應用場景:對於資料非常重要不能丟失資料的,不能有延遲的,比如**,金融之類場景的使用storm

對於沒那麼高精度,但是要處理大量的資料,可以用sparksremaing

SparkStreaming架構和執行機制詳解

本期內容 1.spark streaming架構 2.spark streaming執行機制 spark大資料分析框架的核心部件 sparkcore spark streaming流計算 graphx圖計算 mllib機器學習 spark sql tachyon檔案系統 sparkr計算引擎等主要部...

Spark Streaming基本概念和高階操作

對於實時流式資料計算,spark通過spark streaming元件提供了支援。spark streaming基於spark核心,具備可擴充套件性 高吞吐 自動容錯等特性,資料 支援kafka flume twitter zeromq kinesis或tcp socket等。處理時可以使用map ...

Spark Streaming入門詳解

背景 使用spark主要是使用spark streaming,spark streaming的魔力之所在於 1.流式處理,如今是乙個流處理時代,一切與流不相關的都是無效的資料。3.spark streaming本身是乙個程式,spark streaming在處理資料的時候會不斷感知資料。所以對構建複...