GeoMesa Hbase命令列工具

2021-09-24 16:52:22 字數 856 閱讀 4091

hbase可以使用共有的其他命令,以下為hbase特有的命令:

批量攝取

獲取資料並寫入到hfile(hbase是以hfile的形式儲存的),適合批量載入到集群中。寫入離線hfile而不是直接寫入正在執行的集群可以減少集群上的負載,並避免昂貴的資料壓縮。

批量攝取必須作為map/reduce作業執行。因此,要確保輸入檔案存在於hdfs中。

在執行批量攝取時,需要確保輸入的資料有適當的分割。這將避免在攝取期間建立非常大的檔案,還將防止集群隨後必須分割hfiles。

目前,hbase只支援一次寫入乙個表。因此,完整的批量載入會多次執行此命令,每次為每個索引表(例如z3、id等)執行一次。

生成檔案之後,可使用bulk-load命令將它們載入到集群中。

將hfiles載入到hbase集群中。

注:此命令可能是資料出現錯誤,應該在執行命令之前對資料進行備份,如果在載入資料期間出現錯誤,使用 hbase hbck命令進行還原

可根據資料大小適當的修改以下命令:

1、hbase.rpc.timeout-在大型資料集上,這個值應該增大

2、hbase.mapreduce.bulkload.max.hfiles.perregion.pe***mily-在大型資料集上,這個值應該增大

3、hbase.loadincremental.threads.max- 資料裝載速度,要與伺服器數量合適

命令列 Git Bash命令列小結

展示當前完整路徑pwd 建立資料夾mkdir 建立檔案touch 刪除資料夾rm rf 刪除檔案rm 重新命名mv 展示當前路徑下檔案 除了隱藏檔案 ls 展示當前路徑下所有檔案ls a 展示當前路徑下所有檔案以及詳細資訊ls al 轉至某目錄cd 根目錄 上級目錄.當前目錄.檢視檔案cat 檔名稱...

git 命令列 和 cmd命令列

設定全域性使用者名稱 git config global user.name 區域性把global換成local 檢視全域性 git config global list 檢視git的狀態 git status 初始化 git into 名字 新增乙個檔案 git add readme.txt 刪除...

c mysql命令列 mysql 命令列工具

1 mysql命令選項 2 mysql命令 3 mysql日誌 4 mysql服務端幫助 5 執行mysql指令碼 6 使用技巧 mysql是乙個能夠編輯輸入行的簡單sql shell,支援互動式和非互動式訪問。使用互動式時,查詢結果以ascii表的格式展示。使用非互動式時,查詢結果以製表符分隔的格...