Twitter Storm 本地模式簡介

2021-06-19 19:39:56 字數 900 閱讀 3000

發表於 

由 **: 

本文翻譯自:  。

這篇文章主要介紹storm的兩種操作方式之一: 本地模式。

要建立乙個程序內「集群」,使用localcluster物件就可以了:

12

3

importbacktype.storm.localcluster;

localcluster cluster =newlocalcluster();

然後可以通過localcluster物件的submittopology方法來提交topology, 效果和stormsubmitter對應的方法是一樣的。submittopology方法需要三個引數: topology的名字, topology的配置以及topology物件本身。你可以通過killtopology方法來終止乙個topology, 它需要乙個topology名字作為引數。

要關閉乙個本地集群,簡單呼叫:

1cluster.shutdown();

就可以了。

你可以在這裡看到完整的配置列表:

1. config.topology_max_task_parallelism 這個配置給topology裡面各個元件(spout, bolt)設定乙個執行緒數量上限。一般來說生成環境的這個配置很大(100左右), 而這對於本地測試來說太大了, 這個配置可以讓你把它調小。

2. config.topology_debug 這個配置如果設定成true, storm會log下spout和bolt發射出來的所有訊息, 對於除錯來說非常有用。

本地模式安裝部署Zookeeper 獨立模式

1 安裝前準備 1 安裝jdk 2 拷貝zookeeper安裝包到linux系統下 3 解壓到指定目錄 atguigu hadoop102 software tar zxvf zookeeper 3.4.10.tar.gz c opt module 2 配置修改 1 將 opt module zoo...

pytorch實現從本地載入 pth 格式模型

可以從官網載入預訓練好的模型 import torchvision.models as models model models.vgg16 pretrained true www.cppcns.com print model 但是經常會出現因為 速度太慢而出現requests.exceptions....

CentOS6 安裝VSFTP及本地使用者模式

第一步,安裝vsftp yum install y vsftpd chkconfig vsftpd on service vsftpd start 第二步,配置防火牆 vi etc sysconfig iptables a input m state state new m tcp p tcp dp...