專案預處理線上部署全過程

2021-10-02 15:17:30 字數 763 閱讀 7418

1.預處理–在hdfs中建立文字典資料夾

hdfs dfs -mkdir -p /doit12/dicts/area_dicts/

–將字典檔案上傳

hdfs dfs -put /root/geo_dict.parquet /doit12/dicts/area_dicts/

hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-01

hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-02

hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-03

hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-04

hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-01

hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-02

hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-03

hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-04

–將預處理工程進行引數化改造並打成jar包,並上傳到伺服器的/root目錄下

–開發idmp計算任務shell指令碼,並執行

–開發預處理計算任務shell指令碼,並執行

centOS部署lapis全過程

系統 centos 6.8 依賴環境 lua,luarocks,openresty 注意 由於lapis目前只支援lua5.1,所以不要安裝別的版本,安裝順序請依照本文的順序來操作,lua openresty luarocks lapis 1 lua 注意 centos 6.8自帶了乙個lua5.1...

Struts處理請求全過程

在用struts開發的web應用中,我們主要編寫action類來處理到來的請求,但請求到達action之前,struts為我們做了很多任務作。struts使用actionservlet統一處理所有到來的請求,每到來乙個請求,它都要做很多事情,執行我們編寫的action只是其中之一,struts處理請...

Struts處理請求全過程

在用struts開發的web應用中,我們主要編寫action類來處理到來的請求,但請求到達action之前,struts為我們做了很多任務作。struts使用actionservlet統一處理所有到來的請求,每到來乙個請求,它都要做很多事情,執行我們編寫的action只是其中之一,struts處理請...