10.0.0.11
建立測試表
插入測試資料
put 'lv_test','rowkey001','cf:name','zhangsan'
put 'lv_test','rowkey001','cf:age','30'
get 'lv_test','rowkey001',
get 'lv_test','rowkey001'
put 'lv_test','rowkey002','cf:name','lisi'
put 'lv_test','rowkey002','cf:age','40'
get 'lv_test','rowkey002'
檢視測試表
scan 'lv_test'
匯出到hdfs
find ./ /opt -name hbase
cd /opt/cloudera/parcels/cdh-5.5.1-1.cdh5.5.1.p0.11/bin
hbase org.apache.hadoop.hbase.mapreduce.export lv_test /data/lv_test
hadoop fs -ls /data/lv_test
hadoop fs -get /data/lv_test
上傳到另一伺服器
192.168.51.251
上傳到hdfs
su - hdfs
hadoop fs -mkdir /data
hadoop fs -put /lv_test /data/lv_test
hadoop fs -ls /data/lv_test
建立hbase表
scan 'lv_test_copy'
hbase org.apache.hadoop.hbase.mapreduce.import lv_test_copy /data/lv_test
建立hive外表
hive
create external table lv_test_copy(id string,name string,age string)
row format serde 'org.apache.hadoop.hive.hbase.hbaseserde'
stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'
tblproperties("hbase.table.name" = "lv_test_copy");
impala
impala-shell -i node90
同步元資料
invalidate metadata;
sql查詢結果
select * from lv_test_copy;
最後將外部表資料複製到基於parques的impala內部表，完成資料轉換。
insert into ***() select * from *****
Hadoop集群間資料拷貝
有時候，我們需要做hadoop集群遷移時，要把大量儲存在hadoop集群上的資料也一併遷移過去。有2種方法可以使用 1.old hadoop cluster old local disks transmission new local disks new hadoop cluster 2.old h...
Elasticsearch集群間資料遷移
一 情況說明 將原來elasticsearch 6.4.2集群的資料遷移至現在的elasticsearch 7.2.0集群，遷移資料量大小在200g資料左右。二 遷移方案 1 使用elasticdump elasticdump是實現不同elasticsearch集群之間索引遷移的工具，基於npm包安...
大資料元件 HBASE
1 hbase是乙個非關係型分布式資料庫 nosql bigtable 參考的是谷歌 2 高可靠 採用主從架構，使用zookeeper管理 高效能 分布式並行處理 面向列 可伸縮 可新增子節點 3 採用hdfs作為檔案儲存系統 也可以採用其它的檔案儲存系統，沒整合mr計算的功能 4 hbase擅長查...