apache kylin 資料匯入hive

2021-08-14 22:23:53 字數 812 閱讀 6048

編寫匯入資料的sql指令碼:

建表

1.drop database if exists sample;

2.create database sample;

3.drop table if exists sample.kylin_cal_dt;

4.create table sample.kylin_cal_dt( cal_dt date comment 'data,pk',age_for_year smallint,day_of_cal_id int,qtr_of_year_if tinyint,cal_dt_name string)row format delimited fields terminated by ',' stored as textfile;

載入資料

load data inpath '/tmp/kylin/sample/sample.file.csv' overwrite into table sample.kylin_cal_dt;
檢視$/sample_cube/cube下面有

1.create_sample_tables.sql 建表導資料指令碼

2.data 儲存資料的檔案.csv的目錄

3.template儲存樣本cube的目錄

template裡面(以json檔案格式儲存各部分資訊) :

1.cube 目錄儲存了cube的資訊

2.cube_desc目錄裡面儲存cube的描述資訊

3.model_desc目錄裡面儲存了model的描述資訊

4.project目錄儲存表資訊,專案載入的表

Apache Kylin大資料分析引擎

apache kylin kylin最開始由 ebay公司貢獻給開源社群。apache kylin支援你通過3個步驟以亞秒級的延遲查詢巨量的資料集合。1.在hadoop上定義乙個星型資料結構schema。2.根據定義的表來建立資料立方體。3.通過odbc,jdbc or restful api用標準...

APACHE KYLIN簡單介紹

apache kylin 概覽 apache kylin 是乙個開源的分布式分析引擎,提供hadoop之上的sql查詢介面及多維分析 olap 能力以支援超大規模資料,最初由ebay inc.開發並貢獻至開源社群。它能在亞秒內查詢巨大的hive表。kylin是什麼?可擴充套件超快olap引擎 kyl...

Apache Kylin使用總結

apache kylin是一款以預處理cube來提高查詢速度的olap引擎。首先對維度表做個簡單的介紹。麒麟只支援星型模型,也就是說乙個事實表加上多個維度表。維度表不存在支架型結構。維度表存放的大多是描述性字段,用於篩選。其實以sql的角度來看就是group by filter through wh...