Hbase實戰踩坑

2021-09-26 16:03:02 字數 1062 閱讀 2269

寫幾個hbase踩過的坑吧

問題1 :truncate table

後region

個數為1

,故不要

truncate table。

hbase 盡力不要執行truncate table。一旦執行 region個數就會變為1,之前的預分割槽就沒有用了。

那麼如果想要刪除 清空資料 只能重新建表!

問題2 :ttl 是

7天,這插入的資料有時間戳,時間戳是

7天前的資料,

hbase

不可查。

那如果是說做資料遷移,要遷移之前的資料,需要把timestamp去掉

問題3:hbase key相同覆蓋

rowkey相同會覆蓋。同時提醒自己和讀者們每次任務交付前自己務必先檢查一遍。

昨天遇見乙個線上sd錯誤,前人留下的bug!可以直接拉出去砍了!!感覺自己快成乙個運維的人兒啊,天天填前人的坑。。。

3.1線上hbase庫里永遠是只有一條記錄,很奇怪,然後從加工入庫開始調研。

3.2最終發現問題的時候,發現是他們線上跑了幾個月的程式,rowkey相同導致的!你說可氣不可氣!

同時,也給自己提個醒,以後再排查問題的時候啊,有時可以直接到最後一步,一步一步跟,太耗時間了。

寫了乙個hbase 批量執行的指令碼 

#!/bin/bash

source /etc/profile

exec $hbase_home/bin/hbase shell <

hbase時間戳踩坑小記

大家知道,像ob,hbase這種儲存系統,插入資料的時候,一般資料上都會有乙個時間戳 ts hbase有乙個ttl time to live 可以標識資料的有效期,比如,可以把ttl設定成86400 1000,也就是說資料將於1天後過期。這是乙個表級的設定,必須在建表時指定。但是如果說你需要儲存某一...

實戰人臉比對專案 踩坑過程

d anaconda3 lib site packages 2 進入在這個目錄d anaconda3 lib site packages facenet data 3 新建lfw資料夾 4 進入d anaconda3 lib site packages facenet data lfw 其中raw存...

實戰裡踩過 jQuery 的那些坑

我是先學習的原生 js,只拿過原生 js 寫過一些簡單的小練習。在做實際專案時,使用 jquery 但是因為沒有系統學習過,而是以專案驅動學習,用到哪,查到哪,經常會踩到一些坑,在此一併記錄,希望自己以後不會再在同乙個問題上栽跟頭。jquery ajax 缺省會給傳入的 data 進行 url 編碼...