分布式資料庫

2022-07-22 11:39:11 字數 1672 閱讀 1463

目錄:

1.分布式資料庫的核心功能

2.分布式資料庫的優點

3.分布式資料庫的缺點

4.市面上分布式資料庫的產品分類

5.分布式資料庫的搭建

隨著網際網路的發展,人類社會的資料量迅速激增,據統計目前人類一年產生的資料就相當於人類進入現代化以前所有歷史的總和,而且網際網路業務的發展通常具有爆發性,業務量很可能在短短的乙個月內突然爆發式地增長幾千倍,對應的資料也很可能快速地從原來的幾百gb飛速**到了幾百個tb。如果在這爆發的關鍵時刻,系統不穩定或無法訪問,那麼對於業務將會是毀滅性的打擊。

之前,關係型資料庫在過去數十年的資料庫領域一直佔據著絕對主導的地位,它所帶來的穩定性、安全性和易用性,成為了構建現代化系統的基石。但是,現在的大資料時代,構架於單機系統的資料庫已無法滿足越來越高的併發請求和越來越大的資料儲存需求,因此,分布式資料庫被愈加廣泛的採用。

一.分布式資料庫的核心功能主要集中在:

分布式資料庫的實現方案可以劃分為進取型和穩定型。進取型實現方案是指開發全新架構的 newsql。這類產品以追求更高效能換取穩定性的缺失和運維經驗的不足;穩定型的實現方案是指在現有資料庫的基礎上提供增量能力的中介軟體。這類產品則以犧牲部分效能以保證資料庫的穩定性和運維經驗的復用。

二.分布式資料庫的優點:

隨時能針對各區域的使用者做調整。

資料共享和分布式控制 。

增加處理績效,可作平行處理。

系統管理費用較低。

質量維持容易。

三.分布式資料庫的缺點:

重複儲存資料很花時間。

資料處理與管理上具複雜度。

資料的保密性與安全性受到威脅。

四.市面上分布式資料庫的產品分類:

1、物聯網方向:時序資料庫產品,滿足iot資料的收集、儲存和統計。時序資料庫產品也是現在對記憶體資料庫產品衝擊最大的。例如:influxdb、kudu、kdb、opentsdb;

3、分析關係方向:解決結構化資料儲存和資料分析的業務場景,例如:greenplum、vertical、gbase8a等。不過這塊收到kv分析型產品巨大的衝擊;

4、kv分析方向:hadoop、spark是當下的基石,國內國外較多公司都是在其基礎上再做二次研發,尤其是實現相容sql標準語法,已迎合業務場景和研發人員。

6、htap:交易分析混合型分布式資料庫產品,從技術原理的角度而言這是沒有理論創新支撐的方向,只是我們技術人員內心美好的願望,例如:國內tidb、國外spanner/f1。

五.分布式資料庫的搭建:

接下來準備使用中介軟體的架構,實現分布式資料庫的構建。簡單點說,呼叫者與中介軟體通訊,有中介軟體與各個資料庫通訊,完成基本資料操作,將結果返回給呼叫者。乙個具有較好設計的分布式資料庫,對於使用者(呼叫者)來說透明,跟使用本地資料庫一樣。

下圖為amoeba+mysql架構示意圖

1.在虛擬機器上構建mysql server

2.連線資料庫

3.配置amoeba(中介軟體):

4.設定分片(資料庫的分表分庫操作):在amoeba中,是通過對conf資料夾中rule.xml檔案進行配置實現的。

分布式資料庫

網路選課系統中分布式資料庫設計 何翠雙王巧雲張麗麗 摘要 關鍵字 選課 分布式 資料庫 distributed system of on line course choosing abstract key words course choosing distributed database 隨著學校...

分布式資料庫

1 背景 我們知道資料是乙個公司的命脈,隨著業務越做越大,資料量也會越來越大,計算也會越來越複雜,效能,可靠性,可擴充套件性的需求就會越來越強烈,這個時候乙個集中式的資料庫顯然已經滿足不了需求了。對於技術決策者來說有兩條路可以走,第一 按照現有的大型資料庫的解決方案,比如sql server clu...

分布式資料庫

一 分布式資料庫的出現的場景 網際網路 軟體國產化 o2o 五新 新零售 新製造,新金融 新資源 新技術 等主題接連提出來,並且在各個行業落地,給資料庫帶來了巨大機會,具體包含3個方向 1.遠超單機資料庫容量的資料儲存和訪問峰值 2.實時資料分析檢索 oltp兼顧olap 3.更高階別的容災需求。這...