hbase 使用lzo 裝配HBase LZO

2021-10-13 13:25:46 字數 1212 閱讀 5520

伺服器作業系統:centos 6.3

一、安裝lzo

首先嘗試sudo apt-get -y install liblzo2-dev,如果不行則按照下面的做法。

1.檢查是否已經安裝

ls /usr/lib64/liblz*

2.安裝lzo

2.2.安裝

zlib-1.2.3-29.el6.x86_64.rpm

zlib-devel-1.2.3-29.el6.x86_64.rpm

lzo-2.03-3.1.el6.x86_64.rpm

lzo-minilzo-2.03-3.1.el6.x86_64.rpm

lzo-devel-2.03-3.1.el6.x86_64.rpm

sudo rpm -ivh zlib-1.2.3-29.el6.x86_64.rpm --force

sudo rpm -ivh zlib-devel-1.2.3-29.el6.x86_64.rpm

sudo rpm -ivh lzo-*

3.檢查安裝是否成功

ls /usr/lib64/liblz*

二、安裝hadoop lzo

git clone git:

2.從其他伺服器上面複製檔案到本地目錄

3.安裝hadoop-lzo

cd hadoop-lzo

4.複製構建好的庫檔案到相應目錄

mkdir native

mkdir native/linux-amd64-64

三、重啟hdfs、mapreduce、hbase

四、檢查安裝是否成功

1.testing compression is enabled

hbase org.apache.hadoop.hbase.util.compressiontest /tmp/testfile lzo

hbase org.apache.hadoop.hbase.util.compressiontest file:///tmp/testfile lzo

2.create table

create 'mytable',

五、參考資料

1.opentsdb setup hbase

2.opentsdb安裝hbase

3.usinglzocompression

4.faq - hadoop-gpl-compression

5.linux 安裝lzop壓縮工具

HBase 多master 安裝配置

hbasemaster多master hbase hahbase的hmaster不儲存資料,而是起到region regionserver宕機後region的重新分配和有關表的dml操作,在hmaster宕機後只要不進行上述三種情況的操作,幾乎不用考慮hmaster,先將多hmaster配置詳細如下...

hbase全分布安裝配置

1.上傳 2.解壓到相應的目錄 3.進入到hbase的conf目錄 hbase env.sh配置檔案 hbase site.xml配置檔案 regionserver配置檔案 主節點配置完成之後傳送到其他兩個節點上.啟動集群 啟動zookeeper集群 在 zookeeper 集群的每台伺服器上執行 ...

HBase全分布安裝配置

分布式的hbase依賴於zookeeper集群 所有正常工作節點都必須能夠訪問zookeeper 使用者可以通過啟動和關閉指令碼就可以把zookeeper當做hbase的一部分來啟動和關閉程序 當然,使用者也可以不依賴於hbase管理zookeeper集群,只需要為hbase支出需要使用的集群即可 ...