由於還不會使用mangodb，因此，先使用mysql。
將清洗後的資料匯入hive:
建表
將本地檔案上傳
檢視
將hive中表結構匯出至mysql
資料庫中建表
建表語句:
create table result1(ip varchar(255),
date1 varchar(255),
day varchar(255),
traffic varchar(255),
type varchar(255),
id varchar(255));
row format delimited fields terminated by ',' stored as textfile;
bin/sqoop export \
--connect jdbc:mysql://node01:3306/mongotest \
--username root \
--password 20194023 \
--table result1 \
--export-dir /user/hive/warehouse/result1 \
--input-fields-terminated-by ","
由於還不會使用mangodb，因此，先使用mysql。
將清洗後的資料匯入hive:
建表
將本地檔案上傳
檢視
將hive中表結構匯出至mysql
資料庫中建表
建表語句:
create table result1(ip varchar(255),
date1 varchar(255),
day varchar(255),
traffic varchar(255),
type varchar(255),
id varchar(255));
row format delimited fields terminated by ',' stored as textfile;
bin/sqoop export \
--connect jdbc:mysql://node01:3306/mongotest \
--username root \
--password 20194023 \
--table result1 \
--export-dir /user/hive/warehouse/result1 \
--input-fields-terminated-by ","
大資料測試方法
一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api，包括檔案讀取與訪問控制，元資料操作，鎖操作等功能 大資料分析系統的posix語義不同，實現的檔案系統api也不同，功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大，應該重點考慮應用自動化測試方法進行...
大資料測試小結
1.etl測試 etl，extract transform load 的縮寫，將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程.etl工具較多，用過的是informatica.它從目標表抽取資料載入到結果表 hive 資料庫.測試思路 a.測試抽取的符合...
大資料測試大綱
收有測試方法，包括功能，效能，參見 1.大資料主要技術概述 特點，簡述 大資料的總體技術架構概述 大資料的儲存和處理技術概述 大資料的查詢與分析技術概述 銀行客戶大資料應用體系架構例項 2.大資料測試的要點與難點 大資料測試的特點 基本測試 分布式測試 高可用測試 擴充套件性測試 效能測試 大資料測...