小白學習大資料測試之hadoop再次探索

2021-12-30 02:50:36 字數 469 閱讀 3461

引子

雖然通過《小白學習大資料測試之hadoop初探》以及把hadoop的基本核心說明白了,但是似乎對於小白來說還是會有點懵逼。。。。那麼這次我們就在來看看

大資料粗暴理解

大資料甭管什麼,簡單粗暴的理解為大!大!大!對,你沒看錯,不管什麼都是大就對了,哈哈哈哈

大資料應用的功能抽象出來基本就是:資料採集、資料儲存、資料處理(過濾、拆分、聚合)、資料分析、資料應用。說白了就是對從各處採集的資料經過一系列的處理後給出分析,然後應用到不同的場景裡或者提供資料包表等。

hadoop架構演變

此處不多說,很明顯是做了拆分,集群的資源管理由yarn完成,ta執行在hdfs之上,而mapreduce則執行在yarn之上(後續在搭建環境的時候需要進行對應配置檔案的修改)

大資料測試的難點

小白學習大資料測試之揭秘大資料的背景與發展

大資料是個神馬鬼 根據麥肯錫全球研究所給出的定義是 一種規模大到在獲取 儲存 管理 分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模 快速的資料流轉 多樣的資料型別和價值密度低四大特徵。簡單點說就是指無法在一定時間範圍內用傳統的計算機技術進行處理的海量資料集。大資料市場前景...

小白學習大資料測試之揭秘大資料的背景與發展

大資料是個神馬鬼 根據麥肯錫全球研究所給出的定義是 一種規模大到在獲取 儲存 管理 分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模 快速的資料流轉 多樣的資料型別和價值密度低四大特徵。簡單點說就是指無法在一定時間範圍內用傳統的計算機技術進行處理的海量資料集。大資料市場前景...

大資料測試方法

一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api,包括檔案讀取與訪問控制,元資料操作,鎖操作等功能 大資料分析系統的posix語義不同,實現的檔案系統api也不同,功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大,應該重點考慮應用自動化測試方法進行...