Storm 1 介紹Storm的基本概念

2021-07-22 23:33:04 字數 606 閱讀 4882

以分布式併發的方式處理和建立的無限的元組序列。

在申明每個流的時候,會給它乙個id識別符號。

outputfieldsdeclarer
spouts是乙個拓撲裡流的源頭。也就是說,流的起點是spouts。

spouts從外部讀入元組資料並將其放入到拓撲中。

寫spouts時必須要實現的介面。

拓撲中所有的資料處理都是在bolts

中完成的。

bolts的主要方法是execute,它的作用是用來輸入乙個新的元組。

bolts傳送乙個新的元組用outputcollector物件。

bolts在元組處理完成的時候必須要呼叫 outputcollector物件的ack方法,這樣做的目的是為了通知storm元組處理完成。

storm提供了ibasicbolt介面來自動完成確認動作。

outputcollector是執行緒安全的物件,可以在任何時候被呼叫。

irichbolt:bolts的通用介面。

ibasicbolt:定義bolts做過濾或其它簡單功能的時候用的介面。

outputcollector:bolts用這個物件的勢力傳送元組到輸出流。

1 ,storm 框架介紹

批處理 一批資料一起,走一波 例如 mr 實時處理 不停走,來乙個資料,走一波 例如 storm storm 是個實時的 分布式以及具備高容錯的計算系統 storm 程序常駐記憶體 storm 資料不經過磁碟,在記憶體中處理 nimbus 主節點程序,老闆 supervisor 分節點守護程序,分店...

推薦系統 1 介紹

介紹 協同過濾 cf 協同過濾中的高階主題 advanced topics in cf 基於內容的推薦系統 contented based recommendation 基於知識的推薦系統 knowledge based recommendation 序列化推薦系統 sequential recom...

機器學習1 介紹

2021.1.9 從今天起開始系統地學習深度學習。課程網頁 李巨集毅教授的機器學習課程網頁 如果要找的函式的輸出是乙個數值 scalar regression 如果要找的函式的輸出是兩個或多個可能 classification 機器學習除了regression classification外,還有g...