1.hdfs相關：hdfs dfs -mkdir +hdfs路徑
舉例:hdfs dfs -mkdir /opt/data/dspanalysis
hdfs dfs -rm -r /opt/data/dspanalysis
因有部分任務需要_success，下游程式才會繼續跑
hadoop fs -touchz
/opt/hive/warehouse/dw_stg.db/log_tbl_103/log_time=201907290/_success
2.oozie常用命令
殺死任務
oozie job -oozie http://...:11000/oozie/ -kill workflow任務號
重啟任務
oozie job -oozie http://...:11000/oozie/ -rerun coordinator任務號 -action 子任務編號
啟動任務
解除任務suspend狀態
3.hivesql常用語句
插數語句
有乙個分割槽：insert into table 表名 partition(dt=20200315) values(『』,』』,』』,』』),(『』,』』,』』,』』),(『』,』』,』』,』』);
有多個分割槽：insert into table 表名 partition(dt=20200315,type=』』) values(『』,』』,』』,』』),(『』,』』,』』,』』),(『』,』』,』』,』』);
查詢語句（因為hive每次查詢不過濾分割槽會全表scan，所以需要帶分割槽做查詢，節約查詢效率）
select 字段 from 表名 where dt=』』/logtime=』』;
更改分割槽:
alter table dw_mdl.m_gwim_follows_info partition dt=20190623 rename to partition dt=20190721;
刪除分割槽：
alter table dw_stg.card_auto_use_status drop partition(dt=20190910);
修復分割槽
msck repair table dw_stg.card_auto_use_status;
4.docker常用命令
新的logstash啟動命令：
docker run -itd -p 9613:9600 -v /opt/docker/gwim_hyq_like/conf.d:/etc/logstash/conf.d -v /etc/hosts:/etc/hosts --restart=always --name=gwim_hyq_like 44a63fae1877
查日誌命令：
docker logs -f gwim_hyq_like
停止的容器啟動命令
docker start gwim_hyq_like
重啟命令：
docker restart gwim_hyq_like
停止命令：
docker stop gwim_hyq_like
檢視目前在跑的程序：
docker ps
檢視目前所有的程序（包含已休眠的任務）
docker ps -a
5.kafka常用命令
kafka消費資料：
./kafka-console-consumer.sh --bootstrap-server kafka伺服器名:埠號 --topic bd_ht_open --from-beginning
kafka造資料：
./kafka-console-producer.sh --broker-list kafka伺服器名:埠號 --topic
大資料測試環境搭建
hadoop集群搭建 整理的很好 具體到我用的版本 2.4.1 遇到的一些問題 1.jdk版本問題 2.環境變數配置問題 3.hadoop配置 core site.xml,hdfs site.xml等 4.資料夾許可權問題，非root使用者必須具有hadoop相關資料夾及其子資料夾的寫許可權 5.d...
大資料測試方法
一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api，包括檔案讀取與訪問控制，元資料操作，鎖操作等功能 大資料分析系統的posix語義不同，實現的檔案系統api也不同，功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大，應該重點考慮應用自動化測試方法進行...
大資料測試小結
1.etl測試 etl，extract transform load 的縮寫，將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程.etl工具較多，用過的是informatica.它從目標表抽取資料載入到結果表 hive 資料庫.測試思路 a.測試抽取的符合...