大資料儲存

2021-07-23 08:17:16 字數 641 閱讀 3545

主流資料庫:

1、mysql(以前是sun公司的產品,後被甲骨文公司收購,開源)

2、oracel(成本較高,100w左右)

3、db2 (成本較高,100w左右)

4、nosql (非關係性資料庫,基本都是key-value結構)

很多門戶**都使用mysql,例如:雅虎,**……

資料庫的主從備份,是處於負載均衡範疇。資料庫可以看做為乙個容器。主要採用binary log日誌的使用。主伺服器的所有的操作複製給從伺服器,讓從伺服器也執行,從而做到主從備份。一般可以讀寫分離,寫採用主伺服器,讀採用從伺服器。

關於大資料量的分庫分表,主要分為兩種:垂直分表,水平分表。將大表拆分小表,表多,但字段不要太多,垂直分表效果不是很明顯,。主要還是水平分表,將1億行記錄,拆分為多個100w記錄表。當過多的分表,很容易造成查詢問題,那麼最好就是分割槽。

當然為了防止單點故障,最好考慮到資料庫的冗餘問題。

這是乙個基於分布式檔案儲存的資料庫,是乙個介於關聯式資料庫和非關聯式資料庫之間的產品,他支援的資料結構非常鬆散,是類似json的bjson格式,因此可以儲存比較複雜的資料型別。mongo最大的特點是他支援的查詢語言非常強大,語法很類似物件導向的查詢語言,幾乎可以實現型別關聯式資料庫單錶查詢的絕大部分功能,並且還支援對資料建立索引。

大資料儲存綜述

san 金融電信級別,高成本的儲存方式,涉及到光纖和各類高階裝置,可靠性和效能都很高,除了貴和運維成本高,基本都是好處。檔案儲存 nas,網路儲存,用於多主機共享資料。物件儲存 跟自己開發的應用程式打交道,如網盤。分布式鍵值系統 分布式鍵值系統用於儲存關係簡單的半結構化資料。典型的分布式鍵值系統有a...

大資料儲存HBase

這兩天要寫乙個方案,某單位想建乙個中心資料庫,匯聚各業務系統資料,以及各種網上抓取的預報資料。我設想是用hbase。主要考慮點是 1 開源 2 支援海量資料 該單位的資料量增長按規劃還是很大的,大約每天20gb 關係型資料庫就不考慮了。rdbms本質上是單機系統,拿mysql來說吧,主從複製,讀寫分...

大資料儲存 行儲存還是列儲存

目前大資料儲存有兩種方案可供選擇 行儲存和列儲存。業界對兩種儲存方案有很多爭持,集中焦點是 誰能夠更有效地處理海量資料,且兼顧安全 可靠 完整性。從目前發展情況看,關聯式資料庫已經不適應這種巨大的儲存量和計算要求,基本是淘汰出局。在已知的幾種大資料處理軟體中,hadoop的hbase採用列儲存,mo...