分類：1)功能性測試
2)非功能性測試
步驟：1)資料匯入/預處理驗證階段
2)mapreduce資料輸出驗證階段
3)驗證大資料etl到資料倉儲
4)驗證分析報告
方式：1)輸入檔案與原始檔進行比對，保證資料的一致性
2)根據資料需求來保證獲取資料的準確性
3)驗證檔案被正確的載入進hdfs，且被分割，複製到不同的資料節點中
方式：1)驗證梳理資料處理正常完成，輸出檔案正常得到
2)在單個節點上驗證大資料的業務邏輯，進而在多節點上進行相同驗證
3)驗證mapreduce處理過程的key/value對是否正確生產
4)在reduce過程結束後驗證資料的聚集合併是否正確
5)通過原始檔驗證輸出資料來保證資料處理正確完成
6)按照大資料業務所需，驗證輸出資料檔案格式是否符合要求
方式：1)驗證轉換規則是否正確應用
2)通過比較目標表資料和hdfs檔案資料來驗證是否有資料損壞
3)驗證目標系統資料載入是否成功
4)驗證目標系統的資料完整性
方式：從資料倉儲或者hive中得到的資料，可通過報表工具得到分析報告
分類：1)效能測試
2)容錯性測試
3)可用性測試
4)擴充套件性測試
5)穩定性測試
6)部署方式測試
7)資料一致性測試
8)壓力測試
特點：至少在hadoop環境下進行效能測試、故障恢復測試，以應改進效率和應對可能的最糟糕的情況
指標：吞吐量、任務完工時間、記憶體利用率等
方式：可通過hadoop效能監控器來監測執行狀態效能指標和瓶頸問題，效能測試採用自動化化方式進行，測試系統在不同負載情況下的效能
分類：1)資料提取、儲存效率
2)資料處理效率
3)子元件工作效率
特點：可從部分失效中自動恢復，而且不會驗證的影響整體效能
方式：當故障發生時，大資料分析系統應該在進行恢復的同時繼續以可接受的方式進行操作，在發生錯誤時某種程度上可以繼續操作，需根據應用場景來設計解決方案和具體部署，然後手動測試
特點：高可用性保證資料應用業務的連續性
方式：需要嚴格進行測試和驗證，以手動測試為主
特點：檔案系統擴充套件性測試主要包括測試系統彈性擴充套件能力(擴充套件/回縮)及擴充套件系統帶來的效能影響，驗證是否具有線性擴充套件能力
方式：以手動測試為主
特點：主要驗證系統在長時間(7/30/180/365*24)允許下，系統是否仍然能夠正常執行，功能是否正常
方式：通常採用自動化方式進行，ltp、10zone、postmark、fio等工具對測試系統產生負載，同時需要驗證功能
特點：1)針對不同應用和解決方案，檔案系統部署方式會有顯著不同
2)部署方式測試需要測試不同場景下的系統部署方式，包括自動安裝配置、集群規模、硬體配置(伺服器、儲存、網路)、自動負載均衡等
方式：需要根據應用場景來設計解決方案和具體部署，再進行手動測試
含義：資料一致性是指檔案系統中的資料與從外部寫入前的資料保持一致，即寫入資料與讀出資料始終是一致的
方式：測試可用diff、md5sum編寫指令碼自動化測試，ltp也提供了資料一致性的測試工具
含義：驗證系統造大壓力下，包括資料多客戶端、高ops壓力、高iops/吞吐量壓力，系統是否仍然能夠正常執行，功能是否正常，系統資源消耗情況
大資料測試方法
一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api，包括檔案讀取與訪問控制，元資料操作，鎖操作等功能 大資料分析系統的posix語義不同，實現的檔案系統api也不同，功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大，應該重點考慮應用自動化測試方法進行...
大資料測試小結
1.etl測試 etl，extract transform load 的縮寫，將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程.etl工具較多，用過的是informatica.它從目標表抽取資料載入到結果表 hive 資料庫.測試思路 a.測試抽取的符合...
大資料測試大綱
收有測試方法，包括功能，效能，參見 1.大資料主要技術概述 特點，簡述 大資料的總體技術架構概述 大資料的儲存和處理技術概述 大資料的查詢與分析技術概述 銀行客戶大資料應用體系架構例項 2.大資料測試的要點與難點 大資料測試的特點 基本測試 分布式測試 高可用測試 擴充套件性測試 效能測試 大資料測...