資料庫資料庫管理系統 資料庫系統
資料庫是存放資料的地方。
資料庫管理系統是管理對資料庫中的檔案,例如進行查詢、新增等操作。
資料庫系統
是乙個實際可執行的儲存、維護和應用系統提供資料的
軟體系統
,是儲存介質
、處理物件和管理系統的集合體。它通常由軟體、資料庫和
資料管理
員組成。其軟體主要包括
作業系統
、各種宿主語言
、實用程式以及
資料庫管理系統
。資料庫由
資料庫管理系統
統一管理,資料的插入、修改和檢索均要通過
資料庫管理
系統進行。
資料管理
員負責建立、監控和維護整個資料庫,使資料能被任何有權使用的人有效使用。
資料庫管理員
一般是由業務水平較高、資歷較深的人員擔任。
內容提要:
一:hbase
二:nosql
三:nosql與關係型資料庫比較
四:結構化/非結構/半結構資料
五:dbms
六:hdfs
一.hbase
,是乙個開源的高可靠性、高效能、可伸縮、並建立在
關係模型
基礎上的
分布式資料庫
,用以儲存大規模結構化資料
.hbase 可以建立在
hdfs
之上。hdfs
相當於乙個儲存空間。
hbase vs rdbms 1.
列儲存/
行儲存
2.分布式/
單點儲存 3.
鍵值對(k,v)/
關係表
4.mapreduce程式設計
/sql查詢
5.擴張性高/低
6.離線批量處理/ 7.
非結構、半結構/
結構化資料
hbase優缺點:
pros: 1.
列可以動態增加,若列為空,就不儲存資料,節省儲存空間。 2.
hbase自動切換資料 3.
hbase可以提供高併發讀寫操作的支援
cons: 1.
不支援條件查詢, 2.
目前不能支援master sever
的故障切換,當
master
宕機後,整個儲存系統就會癱瘓
hbase/關聯式資料庫對比
:0.橫向擴充套件代替縱向擴充套件
1.鍵值對代替關係表
(資料型別/操作
/儲存/維護
)2.mapreduce
程式設計代替
sql查詢
3.處理資料
(結構化/規模
)4.擴充套件性5.
資訊檢索與關係型資料庫系統的區別:
1、處理的資料型別不同。資訊檢索處理的是無結構、半結構資料,關係型資料庫系統處理的是結構化資料。 2、
sql查詢 二.
nosql
是非關係型資料儲存的廣義定義。它打破了長久以來
關係型資料庫
與acid
理論大一統
的局面。nosql
資料儲存不需要固定的表結構,通常也不存在連線操作。在
大資料訪問上具備
關係型資料庫
無法比擬的效能優勢。 「
關係型資料庫
給你強加了太多東西。它們要你強行修改物件資料,以滿足rdbms
(relational database management system
,關係型資料庫管理系統
)的需要,」
在nosql
擁護者們看來,基於
nosql
的替代方案
「只是給你所需要的」。
nosql無需事先為要儲存的資料建立字段,隨時可以儲存自定義的資料格式。而在關聯式資料庫裡,增刪欄位是一件非常麻煩的事情。如果是非常大資料量的表,增加字段簡直就是乙個噩夢。這點在大資料量的
web2.0
時代尤其明顯,
nosql資料庫種類繁多,但是乙個共同的特點都是去掉關聯式資料庫的關係型特性。資料之間無關係,這樣就非常容易擴充套件。也無形之間,在架構的層面上帶來了可擴充套件的能力。 三
.nosql和關係型資料庫比較
優點:1)成本:
nosql
資料庫簡單易部署,基本都是開源軟體,不需要像使用
oracle
那樣花費大量成本購買使用,相比關係型資料庫**便宜
2)查詢速度:
nosql
資料庫將資料儲存於快取之中,關係型資料庫將資料儲存在硬碟中,自然查詢速度遠不及
nosql
資料庫
3)儲存資料的格式:
nosql
的儲存格式是
key,value
形式、文件形式、形式等等,所以可以儲存基礎型別以及物件或者是集合等各種格式,而資料庫則只支援基礎型別
4)擴充套件性:關係型資料庫有類似
join
這樣的多表查詢機制的限制導致擴充套件很艱難
缺點:1)維護的工具和資料有限,因為
nosql
是屬於新的技術,不能和關係型資料庫
10幾年的技術同日而語。
2)不提供對
sql的支援,如果不支援
sql這樣的工業標準,將產生一定使用者的學習和使用成本
3)不提供關係型資料庫對事物的處理
四.結構化資料
半結構化資料 非結構化資料
相對於結構化資料
(即行資料,儲存在資料庫裡,可以用二維表結構來邏輯表達實現的資料)而言,不方便用資料庫二維邏輯表來表現的資料即稱為
非結構化資料
欄位可根據需要擴充,即欄位數目不定,可稱為
半結構化資料
,例如exchange儲存的資料。
結構化資料支援:
數字範圍以及精確匹配的查詢,例如
salary
非結構化資料支援:
基於關鍵字以及操作的查詢;更複雜的概念查詢。
例:查詢出所有包含疾病**的網頁。 五.
六. hadoop distributed file system
簡稱hdfs
[1],是乙個
分布式檔案系統
。hdfs
有著高容錯性
(fault-tolerant
)的特點,並且設計用來部署在低廉的(
low-cost
)硬體上。而且它提供高吞吐量(
high throughput
)來訪問
應用程式
的資料,適合那些有著超大資料集(large data set
)的應用程式。
hdfs
放寬了(
relax
)posix
的要求(
requirements
)這樣可以實現流的形式訪問(
streaming access
)檔案系統中的資料。
mapreduce
優缺點(也是hadoop
的優缺點)
:優點一,能用於處理大規模資料,而且隱藏繁瑣細節,比如,自動並行化、負載均衡和災備管理等,簡化開發工作
;其二,伸縮性好,每增加一台伺服器,其就能將差不多的計算能力接入到集群中,而過去的大多數分布式處理框架,在伸縮性方面都與
mapreduce
相差甚遠。
最大的不足則在於不適應實時應用的需求,
缺乏當前
dbms
基本都擁有的大多數特性,使用了蠻力而非索引
資料庫相關概念
一 資料庫好處 可以持久化資料到本地 磁碟 使用結構化查詢,比較容易管理 二 資料庫概念 db 資料庫,儲存資料的容器 dbms 資料庫管理系統,又稱為資料庫軟體或者資料庫產品,用於建立或者管理 db。mysql oracle sqlserver sql 結構化查詢語言,用於和資料庫通訊的語言,幾乎...
資料庫的相關概念
資料庫定義 是相關資訊和組織良好資訊的集合,是安裝資料庫軟體時的物理檔案組成。資料庫模型定義 有組織和有序的描述儲存在計算機上的資訊集。通俗的理解就是,我把資料存在資料庫裡面,並不是雜亂無章的放進去,而是進行有效的儲存,以方便操作,所以就需要模型。層次結構資料庫模型和網路資料庫模型 層次結構資料庫模...
資料庫的相關概念
1 描述事物的符號 1 糧庫 車庫 2 存放資料的倉庫存放在計算機中,可為使用者共享 1 如何科學的組織和儲存資料 如何高效的維護資料,靠資料庫管理系統 2 常用的幾個資料庫管理系統 oracle mysql 在資料庫管理系統的基礎上,使用資料庫管理系統的語法,開發直接面對終端使用者的應用程式 學生...