大資料訓練大綱 第06天

2021-09-24 09:31:28 字數 616 閱讀 2592

hadoop:包含分布式檔案系統和分布式計算的乙個框架。 hdfs,mapreduce

hdfs:分布式檔案系統 (將系統檔案內容分割為block塊,分而治之,平行計算)

namenode 內容 :儲存medata資訊 包括

​ 1:檔案大小和時間

​ 2:block列表 ,block偏移量,位置資訊

​ 3:block每個副本的位置(由datanode上報)

namenode 作用 1: 接受客戶端的讀寫服務

​ 2:收集datanode匯報的block的列表資訊

​ 3:儲存和管理hdfs的元資料

snn (secondarynamenode(備份)):合併元素資料檔案(editsri日誌檔案 和 fsimage映像檔案),但是只會備份1小時的日誌檔案,之後會與空的fsimage檔案形成新的fsimage,覆蓋之前的,editsri重新開始計入1小時

dn :1、存放和管理block(資料),2、往nn匯報block

元資料:除檔案內容之外的。包括檔案的名字、時間、所屬使用者、許可權、大小等等,包括block的位置資訊。

block(資料塊):乙個塊的最大儲存為128m ,資料檔案切割之後形成乙個乙個的資料塊。 每個塊預設有3個副本。

科目三考試訓練大綱

原夜考路線 科目三考試訓練大綱 一 上車前 到右側車門處與考官打招呼 報告考官,請檢查我的證件 逆向繞車一周半,檢視道路交通情況,確認安全後走到駕駛座車門旁喊報告,準備上車。上車前再次扭頭 車後交通狀況,確認安全後,開啟車門,大小適度,進入車內 二次開門,二次觀察 二 上車後準備 調整好座椅,做到舒...

科目三考試訓練大綱

原夜考路線 科目三考試訓練大綱 一 上車前 到右側車門處與考官打招呼 報告考官,請檢查我的證件 逆向繞車一周半,檢視道路交通情況,確認安全後走到駕駛座車門旁喊報告,準備上車。上車前再次扭頭 車後交通狀況,確認安全後,開啟車門,大小適度,進入車內 二次開門,二次觀察 二 上車後準備 調整好座椅,做到舒...

大資料測試大綱

收有測試方法,包括功能,效能,參見 1.大資料主要技術概述 特點,簡述 大資料的總體技術架構概述 大資料的儲存和處理技術概述 大資料的查詢與分析技術概述 銀行客戶大資料應用體系架構例項 2.大資料測試的要點與難點 大資料測試的特點 基本測試 分布式測試 高可用測試 擴充套件性測試 效能測試 大資料測...