奈學教育《大資料架構師》課程大綱

2021-10-07 10:49:31 字數 4233 閱讀 1023

深度剖析了各個基礎技術的原始碼(zookeeper、hive、spark、flink、hadoop等),對這些基礎技 術知識動態的排列組合,形成大資料全域性架構觀,並深入講述大資料全域性架構設計的方方面面,打 造真正滿足企業萬億級海量資料規模的資料中臺,真正賦能前台業務。同時,在企業萬億級真實項 目落地環節,採用高效能、高可用、高擴充套件的架構設計原則,技術上更是融合了企業級主流的離線 架構和實時架構,帶領大家構建pb級的大資料中臺,真正落地「企業千億級的資料倉儲中臺」,實現 「企業級資料中心平台」,搞定「企業千億級廣告統一資料流智慧型分析平台」,掌握「企業級hadoop平 臺全方位二次原始碼開發」,讓學員面對企業各種海量複雜業務場景,給出優雅的大資料架構設計方 案,從而真正成為企業級大資料架構師!

第一階段:分布式協調元件

第一單元

掌握zookeeper的核心設計

zookeeper生態體系結構

zookeeper總體架構設計

zookeeper讀寫請求流程深度剖析

第二單元

掌握zookeeper服務端原始碼流程

zookeeper啟動流程原始碼深度剖析

master選舉演算法原始碼深度剖析

服務端通訊模型原始碼深度剖析

第三單元

掌握zookeeper客戶端原始碼流程

客戶端啟動流程原始碼剖析

客戶端通訊模型原始碼剖析

session管理機制原始碼剖析

第四單元

掌握zookeeper企業應用

zookeeper寫資料流程原始碼剖析

zookeeper企業級應用

zookeeper調優

第二階段:大資料基礎平台

第五單元

掌握hdfs的核心架構設計

hdfs架構優勢

hadoop rpc原理剖析

第六單元

掌握hdfs集群啟動流程

namenode啟動流程原始碼剖析

namenode核心服務啟動原始碼深度剖析

datanode啟動流程原始碼深度剖析

datanode註冊流程原始碼深度剖析

datanode心跳流程原始碼深度剖析

第七單元

掌握hdfs元資料管理流程

hdfs元資料管理流程原始碼深度剖析

hdfs支援億級流量的秘密原始碼深度剖析

第八單元

掌握hdfs資料讀寫流程

hdfs寫資料流程原始碼剖析原始碼深度剖析

hdfs讀資料流程原始碼剖析原始碼深度剖析

第九單元

掌握mapreduce的核心架構設計

mapreduce核心架構設計

map端原始碼深度剖析

第十單元

掌握mapreduce的核心原始碼流程

shuffle原始碼深度剖析

reducer端原始碼深度剖析

第十一單元

掌握yarn核心架構設計原理

yarn架構設計

yarn執行流程深度剖析

yarn核心元件原始碼深度剖析

第三階段:分布式資料倉儲

第三階段:分布式資料倉儲

第十二單元

掌握hive核心元件以及調優技巧

hive執行流程深度剖析

hive核心元件原始碼深度剖析

hive企業級調優

第四階段:分布式列式資料庫

第四階段:分布式列式資料庫

第十三單元

掌握hbase核心架構設計原理

hbase架構設計優勢

hbase核心元件原始碼剖析

hbase企業級案例應用

第五階段:分布式訊息系統

第五階段:分布式訊息系統

第十四單元

掌握kafka架構設計優勢

kafka架構設計優勢

kafka消費者原始碼深度剖析

第十五單元

掌握服務端原始碼核心設計

kafka服務端原始碼之集群啟動原始碼深度剖析

kafka服務端原始碼之副本同步原始碼深度剖析

kafka服務端原始碼之網路架構設計原始碼深度剖析

第十六單元

掌握kafka企業級調優技巧

kafka服務端原始碼之請求處理原始碼深度剖析

kafka企業級調優

第六階段:分布式日誌採集系統

第六階段:分布式日誌採集系統

第十七單元

掌握flume/canal核心元件原理

flume核心元件原始碼深度剖析

canal核心原理深度剖析

第七階段:快速通用的分布式計算引擎

第七階段:快速通用的分布式計算引擎

第十八單元

掌握spark核心任務執行流程

spark核心架構原理

spark任務執行流程深度剖析

sparkcore原始碼深度剖析

第十九單元

掌握spark核心企業級調優

sparkcore原始碼深度剖析

sparkcore企業級調優

第二十單元

掌握sparksql核心元件原理

sparksql核心元件深度剖析

sparksql企業案例實踐

第二十一單元

掌握sparkstreaming核心流程

sparkstreaming核心流程深度剖析

sparkstreaming核心元件原始碼剖析

sparkstreaming企業案例實踐

第二十二單元

掌握spark核心開發原理

spark企業案例實踐

第八階段:新一代的分布式計算引擎

第八階段:新一代的分布式計算引擎

第二十三單元

掌握flink核心執行流程

1.flink核心流程深度剖析

2.flink核心知識點梳理

3.flink核心原始碼深度剖析

第二十四單元

掌握flink核心原始碼流程

1.flink核心原始碼深度剖析

第二十五單元

掌握flink核心技術實踐

1.flink核心流程深度剖析

2.flink企業案例實踐

第九階段:大資料全域性架構設計

第九階段:大資料全域性架構設計

第二十六單元

掌握大資料全域性架構設計思想

第二十七單元

掌握大資料中臺落地實踐方案

1.大資料中臺原理深度剖析

2.大資料中颱iaas層落地

3.大資料中颱paas層落地

第二十八單元

掌握大資料中臺企業案例實踐

1.大資料中臺資料採集流程案例實踐

2.大資料中臺資料處理流程案例實踐

3.大資料中臺視覺化層流程案例實踐

第十階段:企業級大型專案落地

第十階段:企業級大型專案落地

第二十九單元

掌握千億級數倉庫架構設計

1.數倉分層設計

2.數倉維度建模設計

3.數倉事實表設計

4.數倉主題設計

5.數倉資料集市設計

第三十單元

掌握千億級數倉庫方案落地

1.資料採集案例實踐

2.數倉落地案例實踐

3.資料質量管理

第三十一單元

掌握企業級hadoop平台原始碼二次開發

1.企業級hadoop平台穩定性痛點剖析

2.企業級hadoop平台穩定性提公升

第三十二單元

掌握企業級hadoop平台原始碼二次開發

1.企業級hadoop平台穩定性痛點剖析

2.企業級hadoop平台穩定性提公升

第三十三單元

掌握pb級x2c電商使用者畫像系統架構設計

1.使用者畫像系統需求分析

2.使用者畫像系統指標統計

3.使用者畫像系統報表開發

第三十四單元

掌握pb級x3c電商使用者畫像系統方案實踐

1.使用者畫像系統標籤合併

第三十五單元

掌握千億級廣告統一資料流分析平台痛點方案設計

1.資料流分析平台需求分析

2.資料流分析系統架構方案設計

3.場景痛點深度剖析

第三十六單元

掌握千億級廣告統一資料流分析平台方案實踐

1.資料流分析系統架構方案落地

第三十七單元

掌握企業級分布式記憶體物件快取系統資料中心架構設計

1.高復用邏輯封裝與高可用資料訪問服務設計

2.多站點資料同步架構設計

3.資料中心資料快取失效機制設計

第三十八單元

掌握企業級分布式記憶體物件快取系統資料中心方案實踐

1.企業級分布式記憶體物件快取系統**落地

奈學教育《大資料架構師》課程大綱(1)

第一階段 分布式協調元件 第一單元 掌握zookeeper的核心設計 zookeeper生態體系結構 zookeeper總體架構設計 zookeeper讀寫請求流程深度剖析 第二單元 掌握zookeeper服務端原始碼流程 zookeeper啟動流程原始碼深度剖析 master選舉演算法原始碼深度剖...

奈學教育《大資料架構師》課程大綱(1)

第一階段 分布式協調元件 第一單元 掌握zookeeper的核心設計 zookeeper生態體系結構 zookeeper總體架構設計 zookeeper讀寫請求流程深度剖析 第二單元 掌握zookeeper服務端原始碼流程 zookeeper啟動流程原始碼深度剖析 master選舉演算法原始碼深度剖...

奈學教育 大資料架構師

特別喜歡馬中華老師的講課,開2倍速看,依然能聽的很清晰,而且說話邏輯清晰,有條理,連貫,不中斷,特過癮。教學內容呢,都是原始碼級別的,沒有基礎的不建議聽,至少要有2年的大資料開發經驗才行。第一單元 掌握zookeeper的核心設計 1.zookeeper生態體系結構 2.zookeeper總體架構設...