Hadoop核心知識

2021-08-20 20:57:24 字數 573 閱讀 4675

一、hadoop核心

hdfs: (hadoop distributed file system) 分布式檔案系統 ,用於海量資料的儲存

yarn: (yet another resource negotiator)資源管理排程系統,用於資源管理排程

map/reduce:分布式運算框架,用於海量資料的分析

二、hadoop特點

·擴容能力(scalable):能可靠地(reliably)儲存和處理千兆位元組(pb)資料。

·成本低(economical):可以通過普通機器組成的伺服器群來分發以及處理資料。這些伺服器群總計可達數千個節點。

·高效率(efficient):通過分發資料,hadoop可以在資料所在的節點上並行地(parallel)處理它們,這使得處理非常的

快速。·可靠性(reliable):hadoop能自動地維護資料的多份副本,並且在任務失敗後能自動地重新部署(redeploy)計算任務。

hadoop (1)hadoop核心知識點總結

1 安裝hadoop需要配置的hadoop中的配置檔案有哪些?2 hadoop的核心模組和相應的程序 hdfs namenode,datanode,secondarynamenode,namenodemanager,datanodemanager 3 secondarynamenode的作用 如果執...

Web Service核心知識

xml,soap和wsdl就是構成webservice平台的三大技術。xml webservice採用http協議傳輸資料,採用xml格式封裝資料,即xml中說明呼叫遠端服務物件的哪個方法,傳遞的引數是什麼,以及服務物件的返回結果是什麼。xml是webservice平台中表示資料的格式。除了易於建立...

Linux核心知識

linux核心最初創始人 linus torvalds管理乙個linus樹,linus樹也稱為主線 mainline 一般指的upstream,上游 也指這個linus樹或者各種開發樹。linus樹是以2.6.x這樣的三個數字來表示。比如linux 2.6.18 164.el5xen 的linus樹...