storm簡單易用的API

2021-06-18 07:35:52 字數 886 閱讀 4632

這是本人翻譯storm的一篇英文文章,英文位址是如有紕漏,歡迎指正、或請參照原文,純屬個人愛好。

storm提供了簡單易用的api。當使用storm程式設計時,只需要操縱轉換tuple的流資訊,乙個tuple就是乙個值的列表。tuple可以包含任何資料型別,當使用自定義資料型別時,我們只需要簡單的使用storm的序列化器註冊一下即可。

storm提供了三種抽象的元件,他們分別是spouts、bolts和topologies。spouts元件在計算中負責接收或生產處理所需的資料來源。通常spout從訊息佇列中讀取資料,這些訊息中介軟體可能是

kestrel、

rabbitmq或是

kafka,也可以從其他任何地方生產自己需要的資料來源,比如呼叫twitter streaming api。spout可以與大部分的訊息佇列整合。

bolts處理接收到的資料流,生產出新的資料流提供給其他元件呼叫,比如下乙個bolt。大部分的計算邏輯都由bolt處理。比如函式處理、過濾器、流的處理甚至是資料庫呼叫等等。

乙個topologie元件就是由多個spout和bolt組成的網路結構。網路中的每乙個邊線代表乙個bolt元件訂閱的資料流,這個資料流可能來至spout元件,也可能來至其他bolt元件。乙個topology元件就是複雜的流處理計算過程。topology部署在伺服器上就會一直執行,除非顯示殺掉這個topology程序。

storm提供了一種本地執行模式,來模擬集群處理,這對開發和測試非常有用。客戶端使用strom命令提交乙個topology到集群上執行。

storm提供了乙個簡單的專案

storm-starter,這是學習如何開發topology的很好的教程。如果想學習storm的其他知識請閱讀tutorial和documentation兩份教程。

Storm的簡單分析

storm人的概述 storm與mapreduce的區別storm type mapreduce storm 資料 hdfs上tb級別歷史資料 實時新增的某一條資料 處理過程 map階段和reduce階段 可以有很多階段包含spout以及bolt 是否會結束 執行完結束 不會結束 處理速度 主要以執...

android之簡單易用的mvc

什麼是mvc?mvc的優點?mvc的缺點?mvc的適用情況?mvc分別為 模型 model 檢視 view 和控制controller mvc模式的目的就是應用系統的職能分工。model層實現系統中的業務邏輯。view層用於與使用者的互動。controller層是model與view之間溝通的橋梁,...

Zmail 簡單易用的python郵件模組

覺得對你有用請star或者fork zmail 允許你傳送和接受郵件盡可能的簡單。你不需要去檢查你的伺服器位址 埠以及自己構造mime物件,使用zmail,你只需要關注你的郵件內容即可。zmail僅支援python3,不需要任何其他外部依賴.不支援python2.pip3 install zmail...