第一節課程總體介紹
第一節zookeeper總體介紹
第二節zookeeper環境搭建
第三節zookeeper客戶端基本操作
第四節zookeeper分布式鎖
第五節zookeeper主從應用
第一節hadoop集群搭建概要
第二節hadoop環境搭建
第三hdfs基本操作
第四節hadoop-ha配置檔案
第五節federation操作
第六節mr基本用例wordcount-python
第七節mr內部機制調優
第八節yarn產生背景和架構
第九節yarn基本命令操作
第十節rm ha配置
第十一節yarn排程器和實戰編寫
第一節tez總體介紹
第二節tez環境搭建
第三節tez實戰編寫
第一節hive總體介紹
第二節hive環境搭建
第三節hive基本操作
第四節hiveql資料定義
第五章第五節hive鎖
第一節spark總體介紹
第二機spark程式設計模型與基本框架
第三節spark環境搭建
第四節spark案例
第一節oozie總體介紹
第二節oozie環境搭建
第三節oozie案例分析
第一節案例資料來源介紹
第二節案例操作和分析
第一節深刻了解hbase
第二節hbase環境搭建
第三節hbase表操作
第一節了解kafka
第二節安裝kafka
第三節kafka基本操作命令
第四節kafka-admin
第五節kafka-producer
第六節kafka-consumer
第七節kafka-stream
第八節kafka-connect
大資料 Spark（八）
dag directed acyclic graph 叫做有向無環圖 有方向,無閉環,代表著資料的流向 原始的rdd通過一系列的轉換就形成了dag。下圖是基於單詞統計邏輯得到的dag有向無環圖 乙個job會被拆分為多組task，每組任務被稱為乙個stage。stage表示不同的排程階段，乙個spar...
大資料框架 spark
rdd 彈性分布式資料集。operation transformation 和action，乙個返回rdd，乙個返回值。lineage rdd之間的依賴關係，如何演變過來。partition rdd分割槽，按block切分 narrow dependency 窄依賴 父rdd全進入子rdd wide...
大資料學習筆記 spark資源排程
val works new hashset workinfo 儲存worker節點資源資訊 val waitingdrivers new arraybuffer driverinfo 儲存driver節點申請的資源資訊 val works new hashsetworkinfo works 集合採用...