Srorm併發機制

2021-09-07 08:52:48 字數 1621 閱讀 9831

一:介紹

1.執行元件

2.併發度

就是executor數量

executor執行緒是物理執行緒

task是執行執行緒

二:增加併發度

三:worker層次

1.worker工作程序上  

各個spout元件、bolt元件如果在**中沒有顯式指定由多少個executor執行緒來執行,那麼預設各由1個executor來執行

那麼併發度就是spout與bolt的個數加起來。

通過增加worker程序數量,可能可以提高併發效能(是可能,因為四個執行緒在搶占乙個程序),主要要求清楚整個topology有多少個executor執行緒

2.在worker程序上進行對比(worker=2)

3.效能問題  

個數的確定需要看executor執行緒。

如果executor的個數是4,給值6,則不會提高效能。

乙個worker程序跑1到2個executor執行緒,效能更好。

4.**體現

這裡可以設定為2。

五:exeutor層次

1.executor執行緒層次

提高併發度,本質提高executor數量

executor數量的設定,針對具體某個元件 (spout、bolt)

globalgrouping 全域性分組, executor數量設定多個沒有什麼作用,就用1個

2.在**上體現

setspout的最後乙個引數是executor執行緒的引數。

setblot的最後乙個引數也是executor執行緒引數。

globalgrouping這種全域性分組,只需要設定1即可,多了也是沒有用。

六:task層次

1.task層次(很少設定)

是task執行執行緒

每個物理執行緒 executor預設情況只執行乙個task執行執行緒

2.**體現

8.為啥不常使用設定

每個物理執行緒 executor預設情況只執行乙個task執行執行緒

spout有4個

task,這4

個執行在2個

executor

上, 每個物理執行緒平均執行2個

task

並不能提高效能。

事務併發機制

注 原文 原子性 atomic 事務必須是原子工作單元 一致性 consistent 事務在完成時,必須使所有的資料都保持一致狀態。隔離性 insulation 由事務併發所作的修改必須與任何其它併發事務所作的修改隔離。永續性 duration 事務完成之後,它對於系統的影響是永久性的。通常為了獲得...

Storm之併發機制

為了提高storm的並行能力,通常需要設定並行。1.1 worker 程序 設定worker程序數 config.setnumworkers int workers 1.2 executor 執行緒 設定executor執行緒數 topologybuilder.setspout string id,...

Erlang併發機制 程序排程

erlang erlang排程器主要完成對erlang程序的排程,它是erlang實現軟體實時和程序之間公平使用cpu的關鍵。erlang執行時,有4種任務需要被排程 程序,port,linked in driver,erlang虛擬機器的系統級活動。erlang排程器主要有以下特點 1.程序排程執...