Storm 實時性分析

2021-06-19 07:13:43 字數 694 閱讀 6933

都說storm是乙個實時流處理系統,但storm的實時性體現在什麼方面呢?

首先有乙個前提:這裡的實時性和我們通常所說的實時系統(晶元+彙編或c編寫的實時處理軟體)的實時性肯定是沒法比的,也不是同乙個概念。

這裡的實時性應該是乙個相對的實時性(相對於hadoop之類

從網上找了一些資料:

總結一下,storm的實時性可能主要體現在:

1.相比hadoop,storm是為實時處理而設計的;

2.storm的topology啟動後,一直處理就緒狀態,等待資料輸入,一旦有資料會立即處理;這一點不同於hadoop,hadoop每處理乙個job都需要重新提交,而且對於實時到來的資料也無法立即處理。「storm中流動的是資料,hadoop中流動的是**」,這個說法很精闢。

3.storm在處理過程中基於stream,不寫檔案和資料庫,而且使用zeromq傳遞訊息(傳說中最快的mq),所以處理速度很快,自然也提高了實時性;

4.翻譯上面的英文:hadoop能在幾分鐘之內處理一批海量資料(處理乙個job),而storm僅需要幾秒,所以說storm是hadoop的實時處理系統。

關於Storm實時往HBase存資料的效能優化

在開發中根據業務邏輯,需要儲存在storm中每個spout和bolt中產生的資料到hbase表中。在程式調優的過程中不斷調整和優化了幾種方案。這是首先考慮和測試的選擇,也是最先放棄的選擇,短時多次建立連線會造成資源的浪費和排隊,儲存的時間的過長也會影響topology流的穩定性和實時性。8.16補充...

storm實時消費kafka資料

原創 2017年06月05日 16 30 15 程式的pom.xml檔案 org.apache.stormgroupid storm coreartifactid 1.0.2version providedscope dependency org.apache.stormgroupid storm ...

EtherCAT主站的實時性分析

wireshark抓包統計 開啟wireshark軟體,輸入過濾條件 eth.type 0x88a4 ecat.cnt 0 如圖 1.1所示 圖 1.1 wireshark抓包 把過濾的包儲存成csv的execl 模式或其他模式用於分析,如圖 1.2所示 圖 1.2 儲存資料幀 execl分析資料 ...