大資料教程HBase Filter過濾器概述

2021-10-06 18:35:15 字數 876 閱讀 8365

好程式設計師大資料培訓分享hbase filter過濾器概述,過濾器介紹

hbase過濾器是一套為完成一些較高階的需求所提供的api介面。

過濾器也被稱為下推判斷器(push-down predicates),支援把資料過濾標準從客戶端下推到伺服器,帶有 filter 條件的 rpc 查詢請求會把 filter 分發到各個 regionserver,所有的過濾器都在服務端生效,使被過濾掉的資料不會被傳送到客戶端,這些過濾邏輯在讀操作時使用,可以有效降低網路傳輸的壓力。

過濾器組成

過濾器主要有過濾器本身、比較器和比較運算子組成。

操作符抽象操作符,也叫比較運算子。

less:小於

less_or_equal:小於等於

equal:等於

not_equal:不等於

greater:大於

greater_or_equal:大於等於

no_op:排除一切值

比較器binarycomparator:二進位制比較器,用於按字典順序比較指定位元組陣列。

binaryprefixcomparator:二進位制比較器,只比較字首是否與指定位元組陣列相同。

nullcomparator:控制比較式,判斷當前值是不是為null。

bitcomparator:位比價器,通過bitwiseop提供的and(與)、or(或)、not(非)進行比較。

regexstringcomparator:提供乙個正則的比較器,支援正規表示式的值比較,僅支援 equal 和非 equal。

substringcomparator:判斷提供的子串是否出現在value中,並且不區分大小寫。

過濾器家族

hbase 內建了多種過濾器,這些過濾器或直接或間接都繼承於filterbase抽象類。

大資料框架Hadoop教程

hadoop是乙個開源框架,它允許在整個集群使用簡單程式設計模型計算機的分布式環境儲存並處理大資料。它的目的是從單一的伺服器到上千臺機器的擴充套件,每乙個台機都可以提供本地計算和儲存。90 的世界資料在過去的幾年中產生 由於新技術,裝置和類似的社交 通訊裝置的出現,人類產生的資料量每年都在迅速增長。...

大資料爬蟲專案實戰教程

目錄 01 專案背景.mp4 02 專案總體需求.mp4 03 難點分析.mp4 04 架構設計.mp4 7 f,a6 e p j 05 技術選型.mp4 m e v2 p 06 部署方案.mp4 11 1 爬蟲 實現五 解析所有分頁url並優化解析實現類.mp43 x y8 n b0 h w 11...

大資料zookeeper集群配置教程

在集群環境下配置zookeeper,先準備三颱linux伺服器,記住ip位址。2 解壓,放至其中一台linux伺服器某個目錄下。如圖 注意 是以root使用者放進來的,現在想將許可權賦給hadoop使用者,注意一下操作。3 將此目錄賦許可權給hadoop使用者。4 建立配置檔案,進入conf目錄,新...