大資料：指無法在一定時間範圍內用常規軟體進行捕捉，管理和處理的資料集合，需要新處理模式才能具有更強的決策力，洞察發現力，和流程優化的能力的海量、高增長率和多樣化的資訊資產。
主要解決海量資料的儲存，海量資料的分析計算：tb，pb，eb
特點：大量(volume），高速(velocity)，多樣(variety)，低價值密度(value), 4v
平台組：偏向運維，高階，編輯原始碼
1.高可靠性：底層維護多個資料副本
2.高擴充套件性：在集群間分配任務，可方便擴充套件，不用停掉已開啟的伺服器
3.高效性：並行工作，mapreduce
4.高容錯性：自動將失敗的任務從新分配
是yarn中資源的抽象， 封裝了某個節點的多維度資源，如記憶體，cpu，磁碟，網路等
hadoop之hadoop基礎介紹
hadoop是什麼？是乙個分布式基礎架構，主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本？apache clourdera hortonworks hadoop優勢？高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別？hdfs hadoop distributed...
hadoop 相關知識
hadoop 2.x common hdfs 儲存資料 namenode 儲存檔案系統的元資料，命名空間namespace datanode 儲存資料 secondarynamenode 輔助namenode工作 週期性的合併倆個檔案 yarn hadoop 作業系統 data 資料作業系統 con...
Hadoop相關總結
1 hadoop預設不支援lzo壓縮，如果需要支援lzo壓縮，需要新增jar包，並在hadoop的cores site.xml檔案中新增相關壓縮配置。2 hadoop常用埠號 3 hadoop配置檔案以及簡單的hadoop集群搭建 4 hdfs讀流程和寫流程 5 mapreduce的shuffle過...