clickhouse集群模式搭建

2021-10-06 02:46:47 字數 2911 閱讀 3059

1.檢查是否支援sse 4.2:

grep -q sse4_2 /proc/cpuinfo && echo 「sse 4.2 supported」 || echo 「sse 4.2 not supported」

2.安裝依賴

sudo yum install -y curl

4.檢視clickhouse可用安裝包,並安裝

yum list 『clickhouse*』

yum install -y clickhouse-server clickhouse-client

yum list installed 『clickhouse*』 #檢視安裝

5.配置檔案預設目錄

/etc/clickhouse-server/ #配置檔案路徑在,通過檢視配置檔案 /etc/clickhouse-server/config.xml 可以看到其他配置

/var/lib/clickhouse #資料目錄

/var/lib/clickhouse/tmp/ #臨時目錄

/var/log/clickhouse-server #日誌目錄

/etc/rc.d/init.d/clickhouse-server #預設啟動指令碼

/etc/security/limits.d/clickhouse.conf #最大開啟檔案數

/etc/cron.d/clickhouse-server #定時任務檔案,cron程序執行時,就會自動掃瞄該目錄下的所有檔案,按照檔案中的時間設定執行後面的命令

/usr/bin/clickhouse* #二進位制檔案目錄

/usr/share/clickhouse/ #共享檔案目錄:

6.如有需求修改埠等,需要修改/etc/clickhouse-server/config.xml檔案

8123->28123

9000->29000

9004->29004

9009->29009

7.修改ip 127.0.0.1-> 本機ip

8.啟動

#服務端啟動

service clickhouse-server start

service clickhouse-server stop

/etc/init.d/clickhouse-server start

/etc/init.d/clickhouse-server stop

sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml #單節點多例項多配置檔案啟動方式

nohup sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml >/var/log/clickhouse.log 2>&1 & #後台開啟

#客戶端啟動

clickhouse-client #預設為9000

clickhouse-client --port=9099

#集群配置錢每天節點上都要安裝好clickhouse server

1.修改 /etc/clickhouse-server/config.xml 配置檔案

#放開遠端主機監聽

::1 #如果沒有ipv6 注釋這行

0.0.0.0 # ipv4

2.建立 metrika.xml 集群配置檔案 參考

#預設路徑為/etc/metrika.xml,但是在config可以配置路徑

  /etc/clickhouse-server/metrica.xml  
全文配置

#集群名稱

#資料分片1(節點1)

true

10.10.10.99

9099

#資料分片2(節點2)

true

10.10.10.100

9099

#zk配置

"1">

10.10.10.98

2181

"2">

10.10.10.99

2181

"3">

10.10.10.100

2181

#本機ip

10.10.10.99

#監聽網路,::/0代表監聽所有ip

::/0

#資料壓縮演算法

10000000000

0.01

lz4

–分布式集群測試

drop table ontime_local;

drop table ontime_all;

#建立表

create table ontime_local (flightdate date,year uint16) engine = mergetree(flightdate, (year, flightdate), 8192);

create table ontime_all as ontime_local engine = distributed(test_cluster, default, ontime_local, rand());

#插入測試資料

insert into ontime_all (flightdate,year)values(『2001-10-12』,2001);

insert into ontime_all (flightdate,year)values(『2002-10-12』,2002);

insert into ontime_all (flightdate,year)values(『2002-10-12』,2003);

#可以發現所有節點上的ontime_all都有資料

select * from ontime_local;

select * from ontime_all;

ClickHouse集群安裝

vm15 ubuntu18.04 3 192.168.44.128 192.168.44.129 192.168.44.130 apt install openjdk 8 jre headless apt install openjdk 8 jdk headless zookeeper是乙個分布式的...

ClickHouse高可用集群

和一些在使用clickhouse的同學聊了下,有不少中小型公司使用的還是單機版,這點還是出乎意料 可能真的是因為clickhouse秒天秒地的效能,加上資料量不大,資料恢復成本不高,才出此策略 入正題 今天嘗試搭建了乙個2 2的clickhouse集群,兩個分片,每個分片有兩個副本,共四個節點,邏輯...

clickhouse集群安裝部署

一 安裝 每台機器上按照單節點模式安裝,按照官網步驟安裝 二 配置在每台機器上新增配置檔案 etc metrika.xml true internal replication master host 9000 port replica shard 資料分片2 true internal replic...