SDUT軟體1705(大資料)2019暑假實訓

2021-09-25 10:56:32 字數 737 閱讀 9406

1. hadoop 生態圈專題講座及大資料開發實戰

① hadoop 背景介紹

② hadoop 生態圈及各組成部分簡介

③ 分布式系統軟體舉例

④ 離線資料分析流程介紹

⑤ hadoop 集群簡介

⑥ 伺服器準備與網路環境

⑦ 啟動集群與測試

⑧ hdfs使用

⑨ 案例專案實戰

2. zookeeper

① zookeeper原理

② zookeeper安裝

③ zookeeper實戰

3. hive

① hive簡介

② hive安裝與配置

③ hive架構

④ hive實戰

4. flume

① flume概述

② flume安裝

③ flume實戰

5. kafka

① kafka原理

② kafka安裝

③ kafka實戰

6. 資料視覺化—echarts專題實戰

① echarts 資料視覺化理論概述

② echarts 特性介紹

③ echarts 應用案例介紹

④ echarts 視覺化開發實戰

20 大資料 hive資料格式

hive支援原子和複雜資料型別。原子資料型別包括數值型 布林型 字串型別和時間戳型別。複雜資料型別包括陣列 對映和結構 hive會為每個建立的資料庫在hdfs上建立乙個目錄,該資料庫的表會以子目錄形式儲存,表中的資料會以表目錄下的檔案形式儲存。對於default資料庫,預設的預設資料庫沒有自己的目錄...

大資料時代 大資料,大視野

關於 大資料,不同的書和不同的作者可能會有不太完全相同的定義。如,有的學者認為 所涉及的資料量規模巨大,無法通過目前主流軟體工具在合理時間內達到擷取 管理 處理並整理成為幫助企業經營決策更積極目的的資訊。而維克托認為大資料是人們在大規模資料的基礎上可以做到的事情,而這些事情在小規模資料的基礎上是無法...

20 大資料學習之旅 flume安裝和配置

實現步驟 安裝jdk,1.6版本以上 上傳flume的安裝包 解壓安裝 在conf目錄下,建立乙個配置檔案,比如 template.conf 名字可以不固定,字尾也可以不固定 配置agent a1 的元件 a1.sources r1 a1.channels c1 可以配置多個,以空格隔開,名字自己定...