大資料系統體系：資料採集、資料計算、資料服務、資料應用
一. 資料採集層：
(1）web端日誌採集技術方案：aplus.js
(3）把資料從生產業務端傳輸到大資料系統：timetunnel 包括資料庫增量資料傳輸 / 日誌傳輸 / 實時流式傳輸 / 各時間視窗的批量傳輸
二. 資料計算層：
(1）離線計算平台：maxcomputer
(2）流式大資料平台：streamcomputer
(3）資料管理的方法體系及工具：onedata
(4）資料倉儲：傳統資料倉儲（加工週期為年/月/周/日 t-1/小時）、實時資料倉儲
三. 資料服務層:
1)對外提供資料服務通過資料服務平台：oneservice 以資料倉儲整合計算好的資料作為資料來源，以對外提供介面的方式提供簡單資料查詢、複雜資料查詢、實時資料推送等資料服務。
四：資料應用層：
1）對內應用：
2）對外產品：生意參謀
大資料技術生態體系
1 sqoop sqoop是一款開源的工具，主要用於在hadoop hive與傳統的資料庫 mysql 間進行資料的傳遞，可以將乙個關係型資料庫 例如 mysql，oracle 等 中的資料導進到hadoop的hdfs中，也可以將hdfs的資料導進到關係型資料庫中。2 flume flume是clo...
大資料技術生態體系
大資料技術生態體系如圖2 26所示。圖中涉及的技術名詞解釋如下 1 sqoop sqoop是一款開源的工具，主要用於在hadoop hive與傳統的資料庫 mysql 間進行資料的傳遞，可以將乙個關係型資料庫 例如 mysql，oracle 等 中的資料導進到hadoop的hdfs中，也可以將hdf...
大資料技術生態體系
大資料技術生態體系結構如下 圖中涉及的技術名詞解釋如下 1 sqoop sqoop是一款開源的工具，主要用於在hadoop hive與傳統的資料庫 mysql 間進行資料的傳遞，可以將乙個關係型資料庫 例如 mysql，oracle 等 中的資料導進到hadoop的hdfs中，也可以將hdfs的資料...