Storm的排程器

2021-08-03 16:37:50 字數 515 閱讀 2202

參考:

storm現在有4種內建的排程器:defaultscheduler,isolationscheduler,multitenantscheduler,resourceawarescheduler

你可以實現自己的排程器來替代預設的排程器去分配executors給workers。在storm.yaml檔案裡指定storm.scheduler,自定義的排程器要實現ischeduler介面。

配置storm.yaml,把storm.scheduler指定為org.apache.storm.scheduler.isolationscheduler,然後配置isolation.scheduler.machines宣告每個topology需要多少個執行器,例如

isolation.scheduler.machines:

"my-topology": 8

"tiny-topology": 1

"some-other-topology": 3

Storm 隔離排程器

這個版本的亮點是新的 隔離排程器 使得在一些拓撲中分享集群變得簡單和安全。隔離排程程式允許您指定哪些拓撲應該 孤立 這意味著它們執行在集群中的一組專用的機器,沒有其他的拓撲將執行。這些孤立的拓撲在集群中給定優先順序,如果有競爭與non isolated 拓撲,資源將被分配到孤立 的拓撲。如果需要得到...

原 Storm排程器

storm有4中內建排程器 defaultscheduler,isolationscheduler,multitenantscheduler,resourceawarescheduler.storm中可以實現自己的排程器來替代預設的給worker分配executor的排程器。可以在stom.yaml...

Storm中Topology任務排程策略

storm中負責topo分配的工作由nimbus負責,具體 在nimbus.clj中。對於乙個新topo的分配來說,主要經歷兩個階段 1.邏輯分配階段 這裡又會涉及到兩個概念executor和task,簡單講對於乙個具體的component來說,task就是component在執行時的例項個數,即c...