配置greenplum引數

在進行乙個greenplum安裝之前需要進行配置一下相關的系統引數,否則很容易出現意想不到的錯誤.

1.修改系統引數

編輯 /etc/sysctl.conf ，以下是最小配置 
kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2 
修改後需要reboot
2.修改檔案開啟數等限制
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
3.修改scheduler
編輯scheduler，原先預設是cfq
echo deadline > /sys/block/vda/queue/scheduler
[root@bigdata03 ~]# more /sys/block/vda/queue/scheduler 
noop anticipatory [deadline] cfq 
新增 elevator=deadline
[root @bigdata03 ~]# more /boot/grub/grub.conf
...elevator=deadline crashkernel=auto ...
5.編輯裝置塊大小
[root@bigdata03 ~]# /sbin/blockdev --setra 16384 /dev/vda
[root@bigdata03 ~]# /sbin/blockdev --getra /dev/vda
16384

其實我沒改相關系統引數之前,碰到最多的錯誤就是"裝置磁碟空間不足".

官網給出的修改方案固然可行,不過有更方便的修改方案:

針對第一條:修改系統引數

sysctl -p - >> /etc/sysctl.conf 

kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2
eof這樣修改的可以不用reboot

Greenplum介紹 配置系統和引數

關於gp master引數和本地引數 伺服器配置檔案 postgresql.conf 和postgresql一致 在gp中master和所有segment都有自己的postgresql。conf檔案。master parameters 僅僅在master instance上設定，查詢時候這些值被傳遞...

Greenplum系統配置優化

檔案系統 cpu 記憶體 在gp中，記憶體主要用於在sql執行過程彙總儲存中間結果 如排序 hashjoin等 若記憶體不夠，gp會選擇使用磁碟快取資料，大大降低sql執行的效能。網路 gp建議為segment機器上的每乙個主segment配置乙個千兆網絡卡，或者配置每台機器都有萬兆網絡卡。在lin...

Greenplum（二） 常用引數解釋和推薦配置

資料距離cpu越近效率越高，而離cpu由近到遠的主要裝置有暫存器 cpu cache ram disk drives等。cpu的暫存器和cache是沒辦法直接優化的，為了避免磁碟訪問，只能盡可能將更多有用資訊存放在ram中。greenplum資料庫的ram主要用於存放如下資訊。因此最大化地保持資料庫...