web工程呼叫hadoop集群1 2

2021-06-22 06:12:24 字數 783 閱讀 1239

這裡主要講下設計思路:

首先進入頁面後是乙個frame框,上面是固定頁面,下面是乙個輸入頁面。輸入頁面輸入要執行hadoop word count程式的輸入和輸出路徑,然後提交路徑到servlet a,servlet a中new乙個thread來啟動wordcount程式(並初始化job,這個job可以在其他地方獲取到),然後直接跳轉到顯示map和reduce進度的頁面(第一次跳轉的時候附帶的map和reduce引數分別設定為零)。在顯示頁面讀取map和reduce引數進行顯示,然後判斷reduce是否到達1(說明job完成),是則直接顯示任務完成,否則等待3秒跳轉到另外的獲取map和reduce進度的servlet b中,在servlet b中獲取job的map和reduce進度,然後跳轉到顯示頁面,並且附帶map和reduce引數,然後顯示頁面讀出引數進行顯示。這個流程可以通過下面的圖來解釋:

1.啟動頁面:

2. map、reduce進度顯示頁面:

3. 任務完成介面:

分享,成長,快樂

Hadoop(二)Hadoop集群搭建

準備好三颱centos系統,配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映,修改 etc hosts,...

Hadoop集群配置

hadoop的配置檔案分為兩類 1.唯讀型別的預設檔案 src core core default.xml src hdfs hfds default.xml src mapred mapred default.xml conf mapred queues.xml 2.定位設定 conf core ...

操作Hadoop集群

操作hadoop集群 所有必要的配置完成後,將檔案分發到所有機器上的hadoop conf dir目錄。這應該是所有機器上相同的目錄。一般來說,建議hdfs和yarn作為單獨的使用者執行。在大多數安裝中,hdfs程序作為 hdfs 執行。yarn通常使用 紗線 帳戶。hadoop啟動 要啟動hado...