資料庫相關概念 Hadoop相關

2021-06-20 02:59:38 字數 3986 閱讀 1785



資料庫資料庫管理系統  資料庫系統

資料庫是存放資料的地方。

資料庫管理系統是管理對資料庫中的檔案,例如進行查詢、新增等操作。

資料庫系統

是乙個實際可執行的儲存、維護和應用系統提供資料的

軟體系統

,是儲存介質

、處理物件和管理系統的集合體。它通常由軟體、資料庫和

資料管理

員組成。其軟體主要包括

作業系統

、各種宿主語言

、實用程式以及

資料庫管理系統

。資料庫由

資料庫管理系統

統一管理,資料的插入、修改和檢索均要通過

資料庫管理

系統進行。

資料管理

員負責建立、監控和維護整個資料庫,使資料能被任何有權使用的人有效使用。

資料庫管理員

一般是由業務水平較高、資歷較深的人員擔任。

內容提要:

一:hbase

二:nosql

三:nosql與關係型資料庫比較

四:結構化/非結構/半結構資料

五:dbms

六:hdfs

一.hbase

,是乙個開源的高可靠性、高效能、可伸縮、並建立在

關係模型

基礎上的

分布式資料庫

,用以儲存大規模結構化資料

.hbase 可以建立在

hdfs

之上。hdfs

相當於乙個儲存空間。

hbase vs rdbms 1.

列儲存/

行儲存

2.分布式/

單點儲存 3.

鍵值對(k,v)/

關係表

4.mapreduce程式設計

/sql查詢

5.擴張性高/低

6.離線批量處理/ 7.

非結構、半結構/

結構化資料

hbase優缺點:

pros: 1.

列可以動態增加,若列為空,就不儲存資料,節省儲存空間。 2.

hbase自動切換資料 3.

hbase可以提供高併發讀寫操作的支援

cons: 1.

不支援條件查詢, 2.

目前不能支援master sever

的故障切換,當

master

宕機後,整個儲存系統就會癱瘓

hbase/關聯式資料庫對比

:0.橫向擴充套件代替縱向擴充套件

1.鍵值對代替關係表

(資料型別/操作

/儲存/維護

)2.mapreduce

程式設計代替

sql查詢

3.處理資料

(結構化/規模

)4.擴充套件性5.

資訊檢索與關係型資料庫系統的區別: 

1、處理的資料型別不同。資訊檢索處理的是無結構、半結構資料,關係型資料庫系統處理的是結構化資料。  2、

sql查詢 二.

nosql 

是非關係型資料儲存的廣義定義。它打破了長久以來

關係型資料庫

與acid

理論大一統

的局面。nosql 

資料儲存不需要固定的表結構,通常也不存在連線操作。在

大資料訪問上具備

關係型資料庫

無法比擬的效能優勢。 「

關係型資料庫

給你強加了太多東西。它們要你強行修改物件資料,以滿足rdbms 

(relational database management system

,關係型資料庫管理系統

)的需要,」

在nosql

擁護者們看來,基於

nosql

的替代方案

「只是給你所需要的」。

nosql無需事先為要儲存的資料建立字段,隨時可以儲存自定義的資料格式。而在關聯式資料庫裡,增刪欄位是一件非常麻煩的事情。如果是非常大資料量的表,增加字段簡直就是乙個噩夢。這點在大資料量的

web2.0

時代尤其明顯,

nosql資料庫種類繁多,但是乙個共同的特點都是去掉關聯式資料庫的關係型特性。資料之間無關係,這樣就非常容易擴充套件。也無形之間,在架構的層面上帶來了可擴充套件的能力。 三

.nosql和關係型資料庫比較

優點:1)成本:

nosql

資料庫簡單易部署,基本都是開源軟體,不需要像使用

oracle

那樣花費大量成本購買使用,相比關係型資料庫**便宜

2)查詢速度:

nosql

資料庫將資料儲存於快取之中,關係型資料庫將資料儲存在硬碟中,自然查詢速度遠不及

nosql

資料庫

3)儲存資料的格式:

nosql

的儲存格式是

key,value

形式、文件形式、形式等等,所以可以儲存基礎型別以及物件或者是集合等各種格式,而資料庫則只支援基礎型別

4)擴充套件性:關係型資料庫有類似

join

這樣的多表查詢機制的限制導致擴充套件很艱難

缺點:1)維護的工具和資料有限,因為

nosql

是屬於新的技術,不能和關係型資料庫

10幾年的技術同日而語。

2)不提供對

sql的支援,如果不支援

sql這樣的工業標準,將產生一定使用者的學習和使用成本

3)不提供關係型資料庫對事物的處理

四.結構化資料

半結構化資料 非結構化資料

相對於結構化資料

(即行資料,儲存在資料庫裡,可以用二維表結構來邏輯表達實現的資料)而言,不方便用資料庫二維邏輯表來表現的資料即稱為

非結構化資料

欄位可根據需要擴充,即欄位數目不定,可稱為

半結構化資料

,例如exchange儲存的資料。

結構化資料支援:

數字範圍以及精確匹配的查詢,例如

salary 

非結構化資料支援:

基於關鍵字以及操作的查詢;更複雜的概念查詢。

例:查詢出所有包含疾病**的網頁。 五.

六. hadoop distributed file system

簡稱hdfs

[1],是乙個

分布式檔案系統

。hdfs

有著高容錯性

(fault-tolerant

)的特點,並且設計用來部署在低廉的(

low-cost

)硬體上。而且它提供高吞吐量(

high throughput

)來訪問

應用程式

的資料,適合那些有著超大資料集(large data set

)的應用程式。

hdfs

放寬了(

relax

)posix

的要求(

requirements

)這樣可以實現流的形式訪問(

streaming access

)檔案系統中的資料。

mapreduce

優缺點(也是hadoop

的優缺點)

:優點一,能用於處理大規模資料,而且隱藏繁瑣細節,比如,自動並行化、負載均衡和災備管理等,簡化開發工作

;其二,伸縮性好,每增加一台伺服器,其就能將差不多的計算能力接入到集群中,而過去的大多數分布式處理框架,在伸縮性方面都與

mapreduce

相差甚遠。

最大的不足則在於不適應實時應用的需求,

缺乏當前

dbms

基本都擁有的大多數特性,使用了蠻力而非索引

資料庫相關概念

一 資料庫好處 可以持久化資料到本地 磁碟 使用結構化查詢,比較容易管理 二 資料庫概念 db 資料庫,儲存資料的容器 dbms 資料庫管理系統,又稱為資料庫軟體或者資料庫產品,用於建立或者管理 db。mysql oracle sqlserver sql 結構化查詢語言,用於和資料庫通訊的語言,幾乎...

資料庫的相關概念

資料庫定義 是相關資訊和組織良好資訊的集合,是安裝資料庫軟體時的物理檔案組成。資料庫模型定義 有組織和有序的描述儲存在計算機上的資訊集。通俗的理解就是,我把資料存在資料庫裡面,並不是雜亂無章的放進去,而是進行有效的儲存,以方便操作,所以就需要模型。層次結構資料庫模型和網路資料庫模型 層次結構資料庫模...

資料庫的相關概念

1 描述事物的符號 1 糧庫 車庫 2 存放資料的倉庫存放在計算機中,可為使用者共享 1 如何科學的組織和儲存資料 如何高效的維護資料,靠資料庫管理系統 2 常用的幾個資料庫管理系統 oracle mysql 在資料庫管理系統的基礎上,使用資料庫管理系統的語法,開發直接面對終端使用者的應用程式 學生...