hadoop--解讀大資料雪崩的解決方案，從谷歌2023年發布**和2023年mapreduce**開始已經走過了漫長的道路。它通過橫向擴充套件而不是擴充套件戰略創造了波瀾。來自doug cutting以及雅虎和apache hadoop專案團隊的進展推動了mapreduce程式設計的普及 - 這種程式設計適用於i / o密集型資料處理，不適用於互動式分析、迭代計算（spark更好）、流式計算（storm更好）方面。這為進一步發展hadoop1到hadoop2鋪平了道路。下表描述了它們之間的主要區別：
index
hadoop1
hadoop2
1
僅支援mapreduce（mr）處理模型。不支援非mr工具
允許在mr以及其他分布式計算模型（如spark，hama，giraph，訊息傳遞介面）mpi和hbase協處理器中工作。
2
mr執行處理和集群資源管理。
yarn（又乙個資源協商器）進行集群資源管理和處理是使用不同的處理模型完成的。
3
具有有限的節點縮放。每個群集限制為4000個節點
具有更好的可擴充套件性。每個群集最多可擴充套件到10000個節點
4
適用於插槽的概念 - 插槽只能執行map任務或reduce任務。
適用於容器的概念。使用容器可以執行通用任務。
5
用於管理整個命名空間的單個namenode。
多個namenode伺服器管理多個命名空間。
6
具有單點故障（spof） - 由於單個namenode-並且在namenode故障的情況下，需要手動干預來克服。
必須具有使用備用namenode克服spof的功能，並且在namenode失敗的情況下，它被配置為自動恢復。
7
mr api與hadoop1x相容。用hadoop1編寫的程式在hadoop1x中執行，沒有任何其他檔案。
mr api需要用hadoop1x編寫的程式的其他檔案才能在hadoop2x中執行。
8
具有作為事件處理，流**和實時操作平台的限制。
可以作為各種資料分析的平台 - 可以執行事件處理，流**和實時操作。
9
namenode失敗會影響堆疊。
hadoop堆疊 - hive，pig，hbase等都可以處理namenode故障。
10
不支援microsoft windows
新增了對microsoft windows的支援
在yarn架構的幫助下，在hadoop2.x中，我們可以執行比hadoop v1更大的集群。hadoop v1在4,000個節點和40,000個任務中遇到可擴充套件性瓶頸，這是因為作業***必須管理作業和任務。yarn憑藉其分離的資源管理器/應用程式主體系結構克服了這些限制：它旨在擴充套件到10,000個節點和100,000個任務。
與jobtracker相比，應用程式的每個例項（這裡是mapreduce作業）都有乙個專用的應用程式主機，它在應用程式的持續時間內執行。此模型實際上更接近原始gfs檔案，該檔案描述了如何啟動主程序來協調對映並減少在一組工作程式上執行的任務。
在hadoop1.x中，我們只能執行mapreduce框架作業來處理儲存在hdfs中的資料。我們沒有機會在hdfs集群中執行除mapreduce之外的其他應用程式。因此，hadoop2.x提出了新的框架yarn，它提供了執行非mapreduce工作的能力，如spark，hama，giraph，message passing inte***ce）mpi和hbase協處理器。
以前，在hadoop1.x中，我們有乙個namenode，它維護乙個hdfs檔案的目錄樹，並跟蹤資料儲存在集群中的位置。如果namenode由於某些計畫外事件（例如機器崩潰）而關閉，則整個hadoop集群也將關閉。
hadoop2.x附帶了針對此問題的解決方案，該解決方案允許使用者使用冗餘名稱節點配置群集，從而消除單個名稱節點成為群集中單點故障的可能性。
hadoop最初是為支援unix系列作業系統而開發的。使用hadoop2，windows作業系統本機支援。這將hadoop的範圍擴充套件到了相當大的windows server市場。
hadoop在其2.0版本中超越了面向批處理的特性，現在也可以執行互動式流**應用程式。
Hadoop1 x與Hadoop2 x的區別解析
hadoop 解讀大資料雪崩的解決方案，從谷歌2003年發布 和2004年mapreduce 開始已經走過了漫長的道路。它通過橫向擴充套件而不是擴充套件戰略創造了波瀾。來自doug cutting以及雅虎和apache hadoop專案團隊的進展推動了mapreduce程式設計的普及 這種程式設計適...
Hadoop1 x集群安裝
主機環境為 準備用虛擬機器實現 hdoop 集群，hdoop01 06.1cpu,1g menory,20 g disk 虛擬機器 為兩種vamemare oracle vm 作業系統為 ubuntu 12.04.1 desktop amd64.iso hadoop11,12,13 hadoop 1...
hadoop1 x和hadoop2 x的對比
1.能否總結出mapreduce設計思路？2.hadoop1遇到了什麼問題？3.hadoop2做了什麼改進，具體哪些變化？對 hadoop1 和 hadoop 2 做了乙個解釋 不錯 拿來看看 從上圖中可以清楚的看出原 mapreduce 程式的流程及設計思路 可以看得出原來的 map reduce...