Flume Kafka Hbase操作心得

2021-09-08 04:02:50 字數 596 閱讀 4854

通過flume將實時更新的日誌檔案讀入到kafka中,編輯flume配置檔案,resource來自檔案,sinks為kafka的主題。

通過api操作kafka,將kafka的配置資訊寫入.properties檔案,讀取配置資訊,查詢並遍歷所有結果。可以通過kafka的控制台進行測試

通過hbase表的put方法將資料寫入hbase,寫入資料就涉及到初始化命名空間,建表,建列族,設計rowkey,設計預分割槽。

建立表:建立表之前要對錶進行判斷,判斷表是否已經存在。

預分割槽設定:

設定預分割槽的目的是防止大量資料存到乙個region中,造成資料傾斜,設定預分割槽的其中乙個方法是對rowkey中的資料進行抽樣,抽出幾個資料求出hash值,在用hash值對分割槽數進行求餘,拼接在rowkey的最前面,這樣就可以減少資料傾斜。

rowkey設計:

rowkey的設計要將便於區分,便於分割的資料進行拼接,不要怕長,100位以下都可以

分割槽的設計:

先進行資料量的預估來計算分割槽數,要將分割槽號格式化成"00|「的形式方便比較,因為」|"是所有字元中ascii中最大的

盡量將**進行解耦,引數盡量存在properties檔案中,方便**的可挪用

心形函式 封心

這個是 html5實驗室 canvas世界 中的乙個例子,最大的收穫當然是心形函式 x 2 y 2 1 x 2 y 3 0。有了前面幾個動畫做鋪墊,這個還是比較容易就完成了,沒有遇到什麼奇特的問題。不過也因為比較輕鬆,的組織不是很認真,也不想去改了。值得一提的是這個動畫很容易另行發揮,我在除錯的過程...

JS扎心再教育 之 陣列操作

以前只是大概了解下,會用一些,說實話對js了解的不多,gg arr 5 2,999,888,1,2 arr.push 55,555,555555 8arr 8 2,999,888,1,2,55,555,555555 arr 8 2,999,888,1,2,55,555,555555 arr.tolo...

心很亂,心很累,怎麼辦

想寫點什麼呢?感覺思路很亂,頭腦也不好使用了.這些天沒有心情做事,有事也不想做,真的沒有意思.沒有一種合作的氛圍,協作精神,很難把乙個系統搞好呀.他們也不想怎樣增進團隊凝聚力,活躍團體的氣氛,反之,使得團隊的氣氛異樣的緊張和壓抑,看不到年輕人的活力,同事們沒有歡聲笑語,整天死氣重重的坐在那,眉頭緊湊...