Apache Storm 官方文件 本地模式

2021-09-23 16:00:21 字數 846 閱讀 6068

本地模式是一種在本地程序中模擬 storm 集群的工作模式,對於開發和測試拓撲很有幫助。在本地模式下執行拓撲與在集群模式下執行拓撲的方式很相似。

建立乙個程序內的「集群」只需要使用localcluster類即可,例如:

import

backtype.storm.localcluster;

localcluster cluster =

newlocalcluster();

隨後,你就可以使用localcluster中的submittopology方法來提交拓撲了。與 stormsubmitter 中相應的方法相似,submittopology接收乙個拓撲名稱、拓撲配置以及拓撲物件作為輸入引數。你也可以以拓撲名稱為引數,使用killtopology方法來 kill 掉對應的拓撲。

使用以下語句關閉本地模式集群執行:

cluster.shutdown();

你可以在這裡找到完整的配置項列表。以下是幾個比較有用的配置項說明:

config.topology_max_task_parallelism:該配置項設定了單個元件(bolt/spout)的執行緒數上限。生產環境下的拓撲往往含有很高的並行度(數百個執行緒),導致在本地模式下測試拓撲時會有較大的負載。這個配置項可以讓你很容易地控制並行度。

config.topology_debug:此配置項設定為 true 時 storm 會列印出 spout 或者 bolt 每一次傳送訊息的日誌記錄。這個功能對於除錯拓撲很有用。

Apache Storm 官方文件 FAQ

worker 的完整數量是由 supervisor 配置的。每個 supervisor 會分配到一定數量的 jvm slot,你在拓撲中設定的 worker number 就是以這個 slot 數量為依據進行分配的。不建議為每個拓撲在每台機器上分配超過乙個 worker。假如有乙個執行於三颱 8 核...

Apache Storm 官方文件中文版

本專案是 apache storm 官方文件的中文翻譯版,致力於為有實時流計算專案需求和對 apache storm 感興趣的同學提供有價值的中文資料,希望能夠對大家的工作和學習有所幫助。說明 如果沒有特殊宣告,本專案文件中所述 storm 版本均為 0.9.x 版本。原文資料 官方 trident...

Apache Storm 官方文件中文版

本專案是 apache storm 官方文件的中文翻譯版,致力於為有實時流計算專案需求和對 apache storm 感興趣的同學提供有價值的中文資料,希望能夠對大家的工作和學習有所幫助。說明 如果沒有特殊宣告,本專案文件中所述 storm 版本均為 0.9.x 版本。原文資料 官方 trident...