greenplum集群部署
--所有節點上執行
#關閉防火牆
systemctl stop firewalld
systemctl disable firewalld
vim /etc/selinux/config
selinux=disabled
#修改hostname
hostname gp-master
vim /etc/hostname
#新增/etc/hosts 所有節點
20.104.3.16 gp-seg01
20.104.3.17 gp-seg02
20.104.3.18 gp-master
#修改核心引數
vim /etc/sysctl.conf
kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 500 1024000 200 4096
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 10000 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0
vm.dirty_ratio=0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296
#使引數生效
sysctl -p
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
#在master上執行
#新增使用者組
groupadd gpadmin
useradd -g gpadmin -m gpadmin
passwd gpadmin
#安裝./greenplum-db-5.18.0-rhel7-x86_64.bin #根據提示輸入yes
su - gpadmin
source /usr/local/greenplum-db/greenplum_path.sh
touch all_hosts
vim all_hosts
gp-seg01
gp-seg02
gp-master
gpssh-exkeys -f all_hosts
#批量安裝
gpseginstall -f /opt/gpinit/all_host -u gpadmin -p gpadmin
#驗證所有節點是否安裝完成
su - gpadmin
source /usr/local/greenplum-db/greenplum_path.sh
gpssh -f all_host -e ls -l $gphome
#建立檔案存放路徑
mkdir -p /data/master
chown -r gpadmin:gpadmin /data
gpssh -f all_hosts -e 'mkdir -p /data/primary'
gpssh -f all_hosts -e 'mkdir -p /data/mirror'
gpssh -f all_hosts -e 'chown -r gpadmin:gpadmin /data'
#配置時間同步
yum install ntp
vim /etc/ntp.conf
啟動時間同步服務
systemctl start ntpd
systemctl status ntpd
#segment 批量安裝
gpseginstall -f /usr/local/greenplum-db/all_hosts -u gpadmin -p gpadmin
#資料庫初始化
cp /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config /usr/local/greenplum-db
修改資料庫初始化配置檔案
vim gpinitsystem_config
declare -a data_directory=(/data/primary /data/primary /data/primary) #啟動多少個例項，這裡就配置多少個路徑
master_hostname=gp-master
master_directory=/data/master
machine_list_file=/usr/local/greenplum-db/all_hosts
gpinitsystem -c gpinitsystem_config #初始化
#資料庫常用操作
gpstop -a #停止
gpstart -a #啟動
psql -d postgres #登陸管理資料庫
create databse hdc with encoding 'utf-8';# 預設字符集為utf-8所以後面的with encoding也可以不寫
\c hdc #切換到 hdc資料庫
create schema ods ;#建立模式
create role ods with login; #建立角色
alter role ods with password 'ods'; #修改角色登陸密碼
grant all on schema ods to ods; #將schema 的許可權賦給角色
角色登陸資料庫還需要配置檔案pg_hba.conf
在master 節點上
cd /data/master/gpseg-1
vim pg_hba.conf
在最末尾加上一行
host all all 0.0.0.0/0 trust
gpstop -u
kafka集群安裝部署
wget 2.tar zxvf kafka 2.12 2.1.0.tgz 解壓安裝包 3.備份kafka zookeeper配置檔案 cp server.properties server.properties.bak cp zookeeper.properties zookeeper.proper...
clickhouse集群安裝部署
一 安裝 每台機器上按照單節點模式安裝，按照官網步驟安裝 二 配置在每台機器上新增配置檔案 etc metrika.xml true internal replication master host 9000 port replica shard 資料分片2 true internal replic...
kafka集群安裝部署
kakfa集群部署 實驗室3臺機器 34,35,36 1 到官網 2 解壓到36伺服器 cd utxt soft qydx tar zxvf kafka 2.12 1.1.0.tgz 3 cd kafka 2.12 1.1.0 config 4 修改配置檔案 vi server.properties...