使用pycharm訪問遠端hbase集群

2021-09-02 22:40:16 字數 1894 閱讀 5680

當前環境:

pycharm 64位

ubuntu

hbase2.0.3

從windows環境使用pycharm訪問hbase,前提hbase集群已經搭建好,在ubuntu上搭建的集群環境為hbase2.0.3

步驟:一、在ubuntu的hbase主節點上安裝thrift

1.ubuntu系統執行以下命令:

sudo apt-get update

sudo apt-get automake libtool flex bison pkgconfig gcc boost-devel libevent-devel zlib-devel python-devel ruby-devel crypto-utils openssl openssl-devel

)

tar -zxvf thrift-0.10.0.tar.gz

mv thrift-0.10.0 /usr/local/

cd /usr/local/thrift-0.10.0

./configure --with-boost=/usr/include/

sudo make

sudo make install

tar xvfz hbase-2.0.3-src.tar.gz

cd hbase-2.0.3/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift

thrift --gen py hbase.thrift

在thrift目錄下會生成乙個gen-py的目錄

4.在hbase主節點上啟動thrift服務

在hbase的bin目錄下 啟動thrift模組,預設埠在9090,啟動後可以使用jps或者netstat -anp|grep 9090命令查詢是否啟動成功

./hbase-daemon.sh start thrift
二、在windows系統上

2.安裝好後,將前面第3步生成的gen-py目錄下的hbase目錄拷貝到windows環境python安裝目錄的site-packages資料夾中,比如c:\software\install\python27\lib\site-packages資料夾

3.在pycharm中編寫程式

from thrift.transport import tsocket

from thrift.protocol import tbinaryprotocol

from hbase import hbase

from hbase.ttypes import *

transport = tsocket.tsocket("ip", 9090)

protocol = tbinaryprotocol.tbinaryprotocol(transport)

client = hbase.client(protocol)

transport.open()

contents = columndescriptor(name='cf:', maxversions=1)

client.createtable('test', [contents])

print client.gettablenames()

執行程式後,從hbase shell中可以看到新建立了一張test的表

使用Pycharm遠端連線docker容器

既然你搜到我這篇文章,那麼配置遠端連線伺服器 宿主機 應該不是問題,如果沒有配置過可以參考 這篇部落格pycharm如何配置連線遠端伺服器 首先你要有乙個映象,執行的時候使用指令 需要對映乙個埠用於sftp,此處用1234 docker run v data guacamole var log gu...

pycharm 遠端開發

什麼是遠端開發 一台主機寫 在另一台儲存以及執行 為什麼要進行遠端開發 1 公司主機只能遠端 2 平台問題,開發 屌絲用不起mac 是在windows 電腦上寫的 上線一般都是linux 系統 窮公司用不起windows伺服器 不同系統同乙份 可能會出 bug 3 電腦問題 寫 的電腦是win 跑死...

pycharm遠端除錯

利用pycharm進行遠端除錯,主要有兩種模式 兩種模式共同點都需要在本地的pycharm連線上雲伺服器的環境,首先需要先配置好伺服器端的環境。1.進入pycharm選單欄,如下圖依次點選tools deployment configuration.2.右側點選 新增sftp 3.設定name 自己...