第一階段 spark基礎入門
第1課 spark系統概述與程式設計介面
知識點1：spark系統概述
知識點2：spark rdd分割槽及依賴關係
知識點3：rdd api-transformation、action
實戰專案：pagerank中的依賴關係
第2課 spark執行模式及原理
知識點1：spark執行模式
知識點2：spark基本工作流程
知識點3：spark shuffle講解
實戰專案：yarn cluster模式--部署、執行、內部實現及其原理
第二階段 spark高階：儲存、排程、效能調優
第3課 spark儲存、排程、與監控分析
知識點1：儲存管理模組整體架構
知識點2：rdd持久化
知識點3：shuffle資料持久化
知識點4：廣播(broadcast)變數持久化
知識點5：spark排程相關流程
實戰專案：spark監控管理
第4課 spark效能調優
知識點1：開發調優
知識點2：資源調優
知識點3：資料傾斜調優
實戰專案：shuffle調優
第三階段 spark深入：即時查詢、流計算與圖計算
第5課 spark即時查詢講解
知識點1：sqlcontext 及dataframe的介紹
知識點2：常用的查詢操作
知識點3：流計算系統的對比
知識點4：spark streaming的介紹與資料處理流程
知識點5：流資料來源的接入
知識點6：transformation與window操作
實戰專案：sql優化配置、及流計算專案的部署與調優
第6課 spark圖計算講解
知識點1：屬性圖的介紹
知識點2：edge、vertex、triplet介紹與建立
知識點3：屬性圖的操作
知識點4：圖演算法介紹
實戰專案：圖的調優
第四階段 spark機器學習實戰
第7課 spark機器學習講解
知識點1：mllib 機器學習庫介紹
知識點2：基本的統計分析功能
知識點3：基本的機器學習庫使用介紹
知識點4：模型的評價標準庫使用介紹
實戰專案：使用邏輯回歸完成kdd99的分類問題
第8課 spark機器學習應用
實戰專案：使用mllib的樹模型完成分類問題
實戰專案：使用mllib搭建推薦系統
學習設計是自學好還是報學習班好
你現在或者曾經的你是不是有過這樣的想法 一方面他們希望找乙份有競爭力的工作，這樣才能讓自己在競爭中能脫穎而出 另一方面，你又不希望自己因為錢而做自己不喜歡的工作？簡單總結就一句話 錢多的不喜歡，喜歡的錢不多。很多人都想學習平面設計培訓，有的人是報班，有的人是自學，那麼在你準備開始或者放棄乙個時間長且...
Spark機器學習
spark機器學習 注 spark簡介 spark是乙個分布式計算框架，旨在簡化執行於計算集群上的並行程式的編寫。該框架對資源排程，任務的提交 執行和跟蹤，節點間的通訊以及資料並行處理的內在底層操作都進行了抽象。它提供了乙個更高階別的api用於處理分布式資料。spark支援的四種執行模式 本地單機模...
市python學習班第三次作業
題目和程式見下面 1 編制乙個返回值為bool型的函式isprimer 用於判斷引數是否為素數 print n the first problem import math def isprimer n flag true if n 2 return false for i in range 2,in...