clickhouse消費kafka訊息

2021-10-20 19:26:56 字數 2002 閱讀 9373

目錄

整體思路

知識點實施過程

一、kafka-console-consumer.sh 檢視topic訊息結構

二、clickhouse建立kafka引擎表

三、clickhouse建立merge引擎表(與roomchangedinfo_kafka對應結構)

四、建立物化檢視(這裡物化檢視起觸發器作用)

五、建立物化檢視(這裡物化檢視起觸發器作用)

ck建kafka引擎表(根據訊息體格式構建)   >>  ck建merge引擎表(merge引擎不限)   >>  ck建物化檢視(重新整理資料進merge表)

kafka安裝以及基本命令(本文安裝過程略)

clickhouse建kafka引擎表

clickhouse建merge引擎表(其他引擎暫無測試)

另外還可以安裝kafkacat工具檢視kafka,本例全在本機實現,跨伺服器調整kafka_broker_list即可。

(注意命令結尾加"| head -1" 或"--max-messages 1",表示只看一條,不然會滿屏全是訊息)

ubuntu下使用Docker安裝kafka

首先拉取zookeeper kafka映象 docker pull wurstmeister zookeeper docker pull wurstmeister kafka啟動zookeeper docker run d name zookeeper restart always publish ...

clickhouse 部署 介紹

clickhouse是乙個用於聯機分析處理 olap 的列式資料庫管理系統 columnar dbms 傳統資料庫在資料大小比較小,索引大小適合記憶體,資料快取命中率足夠高的情形下能正常提供服務。但殘酷的是,這種理想情形最終會隨著業務的增長走到盡頭,查詢會變得越來越慢。你可能通過增加更多的記憶體,訂...

初步認識clickhouse

命令列客戶端 可以選擇使用互動式與非互動式 批量 兩種模式 互動模式 進入互動模式 clickhouse client 如果埠不是9000的,可以通過 port自行設定 clickhouse client port x 退出客戶端 exit 原生客戶端介面 tcp 可以從clickhouse源 進行...