kylin 系列(一)安裝部署
一、環境說明
1.1 版本選擇
軟體名稱
版本jdk
1.8hadoop
hadoop2.6.0-cdh5.10
zookeerer
3.4.5
hbase
hbase1.2.0-cdh5.10
hive
hive1.2.0-cdh5.10
kafka
kafka0.10
kylin
kylin2.3.2
1.2 節點準備
節點說明
cdh-01
cdh-02
cdh-03
二、kylin 安裝與配置
2.2 解壓
tar -zxvf apache-kylin-2.3.2
ln -sv /opt/bigdata/software/apache-kylin-2.3.2 /opt/bigdata/kylin
2.3 配置環境變數
export hadoop_home=/opt/bigdata/hadoop
export hbase_home=/opt/bigdata/hbase
export hive_home=/opt/bigdata/hive
export hive_conf_home=$hive_home/conf
export hcat_home=$hive_home/hcatalog
export kafka_home=/opt/bigdata/kafka
export kylin_home=/opt/bigdata/kylin
export path=$path:$hadoop_home/bin:$hadoop_home/sbin
export path=$path:$hbase_home/bin:$hive_home/bin:$hcat_home/bin:$kafka_home:bin:$kylin_home/bin
2.4 kylin 配置檔案
vi kylin.properties
# 配置節點型別(kylin 主節點模式為 all，從節點的模式為 query)
# 注意主從節點型別不一致
kylin.server.mode=all
# kylin 集群節點配置
kylin.server.cluster-servers=chd-01:7070,chd-02:7070,chd-03:7070
# 定義 kylin 用於 mrjobs 的 job.jar 和 hbase 的協處理 jar，用於提公升效能(新增項)
kylin.job.jar=/opt/bigdata/kylin/lib/kylin-job-2.3.2.jar
kylin.coprocessor.local.jar=/opt/bigdata/kylin/lib/kylin-coprocessor-2.3.2.jar
三、kylin 啟動
啟動 kylin 前需要啟動 hadoop、zookeeper、hbase、hive 等服務。
3.1 依賴檢查
# 執行下面的檢查命令會在 hdfs 上建立 kylin 目錄
./check-env.sh
# 檢查資料來源 hive 和資料儲存 hbase
./find-hive-dependency.sh
./find-hbase-dependency.sh
3.2 啟動 kylin 服務
# 每個節點都需要單獨啟動
bin/kylin.sh start
每個節點都可以檢視對應的 web ui：http://ip:7070/kylin，預設的使用者名稱和密碼： admin/kylin
四、kylin 測試
啟動 kylin 之後執行 sample.sh 指令碼(任意集群節點執行都可以)
./sample.sh
每天用心記錄一點點。內容也許不重要，但習慣很重要！
一文看懂kylin
kylin到底解決了什麼關鍵問題 要徹底的解決掉資料查詢時間隨著資料量的增長而成線性增長的規律 kylin適合哪類資料的處理 通常查詢資料，一般是統計結果，如果是統計結果，必然會按照維度來進行聚合，kylin的工作原理是多維立方體分析，適合需要從多個維度來觀察資料的查詢。維度，看資料的角度，比如地區...
Kylin基礎教程（一）
hadoop於2006年初步實現，改變了企業級的大資料儲存 基於hdfs 和批處理 主要基於mr 問題，10幾年過去了，資料量隨著網際網路的發展井噴式增長，如何高速 低延遲的分析資料成為後續面臨的挑戰，闢如我們面臨的一些質疑 hadoop老矣，尚能飯否？其中也出現過各種各樣的框架來協助hadoop降...
Kylin資源載入的方式 一
在core common module中，persistence包下有乙個抽象類resourcestore，它有兩個子類，分別是fileresourcestore和hbaseresourcestore。resourcestore類定義了kylin的元資料的存放路徑，該元資料模仿檔案系統的方式實現 p...