Apache Hadoop家族是什麼能夠做什麼?

2021-08-19 16:21:20 字數 267 閱讀 7328

apache™hadoop®專案為可靠的,可擴充套件的分布式計算開發開源軟體。

apache hadoop軟體庫是乙個框架,它允許使用簡單的程式設計模型跨計算機群集分布式處理大型資料集。

它旨在從單個伺服器擴充套件到數千台機器,每台機器提供本地計算和儲存。

該庫本身不是依靠硬體來提供高可用性,而是設計用於在應用層檢測和處理故障,從而在一組計算機之上提供高可用性服務,每個計算機都可能出現故障。

該專案包括這些模組:

apache的其他hadoop相關專案包括:

使用 Apache Hadoop 處理日誌

這篇文章來自developerworks。內容提要 日誌是任何計算系統中乙個必不可少的部分,支援從審計到錯誤管理等功能。隨著日誌的發展和日誌 數量的不斷增加 比如在雲環境中 有必要提供乙個可 擴充套件的系統來高效處理日誌。這篇實踐將 如何在典型 linux 系統上使用 apache hadoop 來...

Apache Hadoop與CDH HDP的比較

不收費的hadoop版本主要有三個 均是國外廠商 分別是 apache 最原始的版本,所有發行版均基於這個版本進行改進 cloudera版本 cloudera s distribution including apache hadoop,簡稱cdh hortonworks版本 hortonworks...

Apache Hadoop的重要組成

狹義的hadoop 指的是乙個框架,hadoop是由三部分組成 hdfs 分布式檔案系統 儲存 mapreduce 分布式離線計算框架 計算 yarn 資源排程框架 廣義的hadoop 廣義hadoop是不僅僅包含hadoop框架,除了hadoop框架之外還有一些輔助框 架。flume 日誌資料採集...