【 kettle 】：
*官網：
*工具：
kettle：
開源的etl工具；
管理來自不同資料庫的資料；
有兩種指令碼檔案，transformation和job，transformation完成針對資料的基礎轉換，job則完成整個工作流的控制
spoon ：圖形化介面工具（kettle 一部分；4部分）
*spoon使用測試：
1 模擬源資料 - mysql
2 資料轉換驗證 ；
（1）鏈結資料庫；
（2）執行操作，轉存：表 -> 表；
3 配置資料庫：
實驗：1 同乙個資料庫：乙個表 -> 另乙個表（1：已存在；2：不存在；）；
轉換方式：字段；
2 通過 spoon 往表中插入資料；
大資料技術之kylin tableau
kylin tableau hive 就是字面意思，大型資料倉儲，這邊用了乙個叫kylin 的東西 從hive 取資料生成cube 以key value 的方式存在hbase 裡面 hbase 對接tableau 等報表工具 hbase 中 cube 存的是 每個緯度的資訊 下圖是有四個緯度夠成的c...
大資料技術之Hadoop（MapReduce）
mapreduce是乙個分布式運算程式的程式設計框架，是使用者開發 基於hadoop的資料分析應用 的核心框架 mapreduce核心功能是將使用者編寫的業務邏輯 和自帶預設元件整合成乙個完整的分布式運算程式，併發執行在乙個hadoop集群上。1 海量資料在單機上處理因為硬體資源限制，無法勝任 2 ...
大資料技術之Hadoop解析
大資料技術之hadoop解析。1 資料現狀 2006年數字世界 digital universe 專案統計得出全球資料總量為0.18zb，2011年將達到1.8zb 1zb 1 000eb 1 000 000pb 1 000 000 000tb 資料增長速度也在加快。2 資料的儲存 資料讀取速度慢 ...