三 kylin讀寫分離集群部署

1、部署圖

注意：

1、在kylin服務機器上hbase shell 作為儲存hbase集群的客戶端，配置需要儲存集群的客戶端配置，cdh 的hbase配置路徑在/etc/hbase/conf下，hbase-site.xml

中不能包含hdfs的資訊，不然計算集群會使用hbase的hdfs配置，只包含zk的資訊即可

2、hadoop 的配置包含計算集群的所有配置，需要在hdfs-site.xml配置檔案中新增儲存集群的hdfs的namespasece位址，因為計算集群構建cube之後，會把結果轉換成hfile，直接複製hfile檔案到儲存集群的hdfsr

3、可以使用kylin.env.hadoop-conf-dir：指定 hadoop 配置檔案目錄，如果不指定的話，獲取環境中的 hadoop_conf_dir，但是不能指定hbase的配置檔案，因為kylin是通過hbase shell方式訪問儲存集群的hbase的

hadoopconfig目錄檔案列表

2、步驟

步驟一：分布部署hadoop（mapreduce計算集群，以下簡稱計算）集群和hbase（hdfs儲存，以下簡稱儲存）集群；兩套集群環境的hadoop核心版本要一致，分別有各自的hdfs、zookeeper等元件；

步驟二：在準備執行kylin的伺服器上，安裝和配置hadoop（計算）集群的客戶端；通過 hadoop , hdfs , hive , mapred 等命令，可以訪問計算集群上的服務和資源。

步驟三：確保hadoop（計算）集群和hbase（儲存）集群的網路互通，且無需額外驗證；可以從hadoop（計算）集群的任一節點上，拷貝檔案到hbase（儲存）集群的任一節點；

步驟四：在準備執行kylin的伺服器上，安裝和配置hbase（儲存）集群的hbase客戶端；通過 hbase 命令，可以訪問和操作儲存集群的hbase

步驟五：確保在準備執行kylin的伺服器上，通過hdfs命令列加上hbase集群namenode位址的方式（比如hdfs dfs -ls hdfs://pro-jsz800000:8020/），可以訪問和操作儲存集群的hdfs。

步驟六：為了提公升kylin查詢響應效率，準備執行kylin的伺服器，在網路上應靠近hbase集群，以確保密集查詢時的網路低延遲；

步驟七：編輯conf/kylin.properties，設定 kylin.hbase.cluster.fs 為hbase集群hdfs的url，例如：kylin.hbase.cluster.fs=hdfs://nameservice3

步驟八：重啟kylin服務例項

一、kylin簡介

二、kylin優化

三、kylin讀寫分離部署

最重要的事情：檢驗是否有人看我的部落格，檢驗是否有人看我的部落格、檢驗是否有人看我的部落格