Hadoop功能介紹

2021-10-21 21:39:52 字數 376 閱讀 8040

hadoop是大資料處理框架,工具

hdfs和mapreduce是hadoop的兩個原始核心功能,前者是負責儲存的系統,類似把試卷放在幾個櫃子裡,後者負責平行計算,類似把100份試卷分給5個人批改。

hadoop後來逐漸加了其他工具

hive提供資料彙總查詢功能,給了乙個視窗處理資料,對資料進行加減乘除。

hbase是乙個可擴充套件的、非關係型資料庫,不是傳統的excel表那種的資料格式

spark是比mapreduce更快的計算框架

hadoop和mysql的關係是「friends with benefits」

hadoop的並行處理系統加上mysql的快速處理大量資料能力,就能得到乙個能夠使用關係型資料並以巨大速度進行計算的資料庫。

hadoop之hadoop基礎介紹

hadoop是什麼?是乙個分布式基礎架構,主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本?apache clourdera hortonworks hadoop優勢?高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別?hdfs hadoop distributed...

Hadoop 核心介紹

hadoop各個核心專案架構 hdfs2的架構 負責資料的分布式儲存,主從結構 主節點 namenode 可以有兩個 接收使用者的請求操作,使使用者操作入口 維護檔案系統目錄結構,稱為命名空間。從節點 datanode 至少乙個,儲存真實 資料。yarn的結構 是乙個資源排程和管理的平台,也是只從結...

Hadoop日誌介紹

1 hadoop日誌路徑 opt software hadoop 2.8.1 logs 2 日誌介紹 3 namenode報錯,如何查詢問題所在?1 定位到日誌 tail f hadoop root namenode hadoop001.log 2 開啟另外乙個會話,清空日誌檔案,cat dev n...