–apache 分布式系統基礎架構–海量資料儲存
–資料分析計算
–海量、高速、多樣化（結構，非結構化資料）、**值低密度
–高可靠性：hadoop底層維護了多個資料副本（每台機器中只維護乙個副本），保證資料儲存或計算時即使出現故障，也不會造成資料的丟失hadoop1.x–高擴充套件性：hadoop集群之間分配任務資料，可方便的擴充套件數以千計的節點
–高效性：mapreduce思想下，hadoop是並行工作的，以加快任務處理速度
–高容錯性：hadoop能夠自動的將失敗的任務重新分配
hadoop2.x/3.x
mapreduce（計算+資源排程）
mapreduce（只負責計算）
hdfs分布式檔案系統（資料儲存）
hdfs分布式檔案系統（資料儲存）
common（輔助工具）
common（輔助工具）
資源指的是記憶體，磁碟，網路，cpu等
yarn（只負責資源排程）資源，主指記憶體
hadoop學習筆記1 概述
hdfs負責儲存 yarn負責排程和資源管理 mapreduce基於yarn 分布式儲存 計算 hadoop可以儲存海量資料，並且對資料進行統計分析，比如通過hive sql 類似於普通sql hadoop生態圈是很大的，想學好大資料，要學的東西特別多，目前從它三大元件開始 別的軟體圖示都是動物，只...
Hadoop的概述和特點
hadoop官網 一 hadoop概述 1 伺服器 節點 可以理解為我們的一台筆記本 台式電腦，在這裡可以認為是我們的一台虛擬機器 後面學習中，我們會把一台伺服器稱為乙個節點 乙個公司裡，會有很多伺服器。尤其是hadoop集群大到上千臺伺服器搭建成集群 2 機架負責存放伺服器的架子3 什麼是hado...
hadoop命令總結
1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...