hadoop 權威指南 HBase

2021-07-16 02:39:27 字數 698 閱讀 6109

hbase原理、基本概念、基本架構

應用將資料儲存在帶標籤的表中,表的單元格是行和列座標的座標交集,他們有版本號。在預設情況下版本號是單元格插入時hbase自動分配的時間戳。表的單元格內容是乙個未解釋的位元組陣列

錶行的鍵也是位元組陣列。行鍵是表的主鍵,被用來對錶行進行排序。

錶行的列分組,形成列族(column families)。列族物件的字首相同。列族必須在表架構時被宣告定義,但是列族成員是可以按需要新增的。

物理上:所有列組成員在檔案系統中被儲存在一起,因為,hbase是一種面向列族的儲存。

與rdbms的區別:版本號、對行排序、列族成員動態增加

表被劃分為域(region),每個域包含所有行的乙個子集。域=第一行~最後一行+域標識。

域的數量從乙個開始,隨著域的擴大到超過設定的閾值,劃分為大小差不多的兩個域。域是分散在hbase集群上的單元

行的更新是原子的。

hbase由乙個主節點(master)協調乙個或多個區域伺服器(region server)子節點組成

主節點:引導初始安裝、分配區域給已註冊的區域伺服器、恢復區域伺服器的故障。

區域伺服器:服務0~多個區域。響應客戶端的讀寫請求、通知主節點**新區域的資訊。

hbase依賴zookeeper

hbase通過hadoop檔案系統的api進行資料維護。預設使用本地檔案系統。第一次配置hbase是需要指明使用的hdfs集群

Hadoop 權威指南

rpm包和deb包是兩種linux系統下最常見的安裝包格式,在安裝一些軟體或服務的時候免不了要和它們打交道。rpm包主要應用在redhat系列包括 fedora等發行版的linux系統上,deb包主要應用於debian系列包括現在比較流行的ubuntu等發行版上。yum可以用於運作rpm包,例如在f...

Hadoop權威指南 DFSClient

第9章 hdfs客戶端 1.dfsclient的構造和關閉 dfsclient 構造方法的功能 1 讀取配置項資訊並初始化成員變數 2 建立到namenode的ipc連線 createrpcnamenode 和createnamenode dfsclient.close 關閉客戶端的功能 1 lea...

Hadoop權威指南摘抄 初識Hadoop

初識hadoop 古代,人們用牛來拉重物,當一頭牛拉不動一根圓木時,他們不曾想過培育更大更壯的牛。同樣,我們也不需要嘗試開發超級計算機,而應該結合使用更多計算機。格蕾斯.霍珀 資料的儲存與分析 大資料時代,磁碟儲存容量快速增加的同時,其訪問速度 磁碟資料讀取速度缺未能與時俱進。1990年,乙個137...