大資料基礎知識(待續)

2021-08-10 23:20:03 字數 309 閱讀 5059

最近要參與大資料治理專案,但大資料相關知識是零,因此從頭開始了解學習。本人學習目的是用於測試,因此jindui

第二步了解mr,mapreduce,mr對hadoop來說是至關重要的,關於這個概念的理解,可以參考這位知友的回答當然慕課網上也有,可以花五分鐘看一下,

基於此,基本對hadoop有基本了解了,包括功能、架構等。

當然hadoop通常不會單獨存在,一般都是和其他軟體同時使用的。以下還有幾個建議了解學習的

spark是乙個非常看重速度的大資料處理平台,基本概念這裡可以看到

spark和hadoop的技術對比可以參考這裡,

大資料基礎知識

一種規模大到在獲取 儲存 管理 分析方面大大超出了傳統資料庫 軟體工具能力範圍的資料集合,具有海量的資料規模 快速的資料流轉 多樣的資料型別和價值密度低四大特徵。大資料需要特殊的技術,以有效地處理大量的容忍經過時間內的資料。適用於大資料的技術,包括大規模並行處理 mpp 資料庫 資料探勘 分布式檔案...

大資料相關基礎知識

apache hadoop專案包括以下四個主要模組 1 hadoop common hadoop的通用工具集 2 hadoop distributed file system hdfs 分布式檔案系統 3 hadoop yarn 任務排程 集群資源管理框架 4 hadoop mapreduce 基於...

大資料基礎知識總結

1.什麼是大資料 維基百科對於大資料給出了乙個定性的描述 大資料是指無法使用傳統和常用的軟體技術和工具在一定時間內完成獲取 管理和處理的資料集。從技術特點來看,大資料滿足5v模型 大體量 volume 多樣性 variety 時效性 velocity 準確性 veracity 大價值 value 2...