Hadoop深入淺出實戰經典 第02講

2021-09-02 12:57:00 字數 651 閱讀 7889

hdfs: hadoop distributed file system 分布式檔案系統

mapreduce:平行計算框架

yarn:集群資源管理和排程框架

適合大資料的分布式儲存、計算、資源管理平台

受google三篇**的啟發

主從結構

主節點,只有乙個: namenode

從節點,有很多個: datanodes

namenode負責:

接收使用者操作請求

維護檔案系統的目錄結構

管理檔案與block之間關係,block與datanode之間關係

datanode負責:

儲存檔案

檔案被分成block儲存在磁碟上

為保證資料安全,檔案會有多個副本

主從結構

Hadoop深入淺出實戰經典 第02講

本文 通通學 知識學習與分享平台 mapreduce 平行計算框架 yarn 集群資源管理和排程框架 受google三篇 的啟發 主從結構 主節點,只有乙個 namenode 從節點,有很多個 datanodes namenode負責 接收使用者操作請求 維護檔案系統的目錄結構 管理檔案與block...

深入淺出sizeof

int佔 位元組,short佔 位元組 1.0 回答下列問題 答案在文章末尾 1.sizeof char 2.sizeof a 3.sizeof a 4.strlen a 如果你答對了全部四道題,那麼你可以不用細看下面關於sizeof的論述。如果你答錯了部分題目,那麼就跟著我來一起 關於sizeof...

深入淺出ShellExecute

ipconfig c log.txt應如何處理?二樓的朋友,開啟拔號網路這樣 shellexecute null,open c windows rundll32.exe shell32.dll,control rundll c windows system telephon.cpl null,sw ...