Storm自帶測試案例的執行

2022-10-11 06:09:10 字數 1355 閱讀 7827

然後,此時執行下面命令執行主類中的main方法:

mvn exec:j**a "

-dstorm.topology=storm.starter.wordcounttopology

"

**稍微滾動幾秒,然後就結束了,最後出現的錯誤我們可以忽略,如果執行過程中檢視仔細的話,會看到中間計算對單詞進行了一定的統計,中間某一時刻截圖如下:

然後在開啟的介面,選擇browse進入瀏覽介面,選擇我們之前使用m**en編譯好的專案目錄storm-starter,點選finish完成即可匯入了,匯入後的專案結構截圖如下:

裡面的錯誤可以暫時忽略,不影響執行,其中第一項src/jvm就是原始碼的存放位置:

此時,我們可以開啟storm.starter包下的wordcounttopology.j**a原始檔,這個就是剛才測試案例的主類

**我們可以簡單地看懂一些,首先是建立拓撲,然後設定的資料來源所在的類,我麼可以看一下randomsetencespout這個類資料來源**,後來就是設定bolt和mapreduce一樣進行了計算,之前執行的時候並不是和服務一樣不斷執行,而是一會就結束了,通過後面2行**我們就明白了,這裡延時了10s然後將任務shutdown,大體流程就是這樣

這個主類的構造方法中呼叫了乙個命令就是執行splitsentence.py指令碼,檢視這個指令碼可以知道該指令碼匯入了storm.py這個模組,主要的計算邏輯都在storm.py這個指令碼所定義的方法中實現,所以之前說過必須安裝python才可以正確執行,原因就在這,所以理論上storm可以實現任何語言來編寫計算邏輯,只要呼叫父類的構造方法即可,當然我們可以使用j**a直接來編寫相應的邏輯

當然這個專案還有很多細節需要理解,目前就先說這些,對storm入門的專案有乙個簡單的認識

執行hadoop自帶的案例 wordcount

主要有四個步驟 一 在hdfs分布式檔案系統 中建立兩個資料夾,分別存放輸入 輸出資料 1 bin hadoop fs mkdir p data wordcount 建立的輸入資料目錄 2 bin hadoop fs mkdir p output 建立的輸出資料目錄 二 將要測試的檔案上傳到hdfs...

caffe執行自帶的mnist

sh data mnist get mnist.sh但是這些檔案是不能夠直接使用的,因此 sh examples mnist create mnist.sh轉換為lmdb檔案,轉換之後會在examples mnist下面還是生成 mnist train lmdb mnist test lmdb 裡面...

執行hadoop 自帶的例子

1.在 hadoop 目錄下建立 localfile 目錄 儲存本地的 檔案,mkdir localfile 2.建立 檔案 word count 檔案 輸入 檔案內容 vi word count 3.建立 遠端 檔案目錄 hadoop fs mkdir test examples 4.hadoop...