如何在E MapReduce上使用storm

2021-09-23 19:25:39 字數 522 閱讀 3454

目前e-mapreduce已經支援了apache社群的1.0.1版本的storm。使用者可以通過選擇e-mapreduce 最新的映象版本emr-2.0.0(以及後續的以上版本),通過在控制台軟體列表中勾選storm軟體進行安裝,選擇完畢後即可登入到master節點,通過命令列提交storm作業(e-mapreduce控制台頁面暫時還不支援頁面提交storm作業型別,後續根據使用者的使用情況會考慮支援)。具體構建集群相關選項如下圖所示:

通過ssh命令,登入集群的master節點。

作業提交成功後,通過storm的ui監控作業的執行狀態,檢視ui需要在本機和master建立ssh隧道,建立方法參考ssh登入集群,隧道建立成功後,在瀏覽器中訪問:http://localhost:9999 即可開啟storm的監控ui。

監控ui的截屏樣例如下:

storm會在master節點啟動nimbus程序和監控ui程序,分別占用6627埠和9999埠。

storm會在core節點啟動 supervisor 占用 6700 6701 6702 6703 埠。

dd windows 如何在Windows上dd?

dd windows ddis a handy tool on linux.but is it possible to run it on windows?dd是linux上的便捷工具。但是可以在windows上執行它嗎?i find theddin cygwin works very well f...

如何在細節上提高

所謂如何在細節上提高,就是我關注的就是能如何把自己的事情做的更加完美,也就前段時間對自己提出的嚴格要求所說的。我已經認識到了這是職業發展上面門檻,也是非常重要的一環。前幾天看書,書中提到了乙個表達邏輯的問題,就是乙個人要想把一件事情說清楚,要有兩個方面 就是說話格式上面的要求,說話要層次分明,重點突...

如何在Windows上重現macOS上的取證技巧

啟動工具包 首先,即使你以管理員身份登入系統,也必須以管理員許可權啟動工具包。奇熱這個過程非常簡單 只需在資源管理器中找到主程式指令碼 toolkit.cmd 右鍵單擊它,然後選擇 以管理員身份執行 插入工具包中提供的usb加密狗,將開啟新的控制台視窗。此時,你會看到如下結果 在此螢幕上按enter...