資料庫實踐如何解決網際網路架構轉型中的痛點!

2021-09-20 09:04:09 字數 2927 閱讀 5958

以下內容根據現場分享整理而成。

網際網路資料庫發展過程中,我們在做it建設的時候都會碰到一些痛點。在這個過程中,如何解決這些痛點非常重要。

第一,許多企業都會面臨的資料和業務都會從簡單到複雜,資料量由小到大的過程,在這個過程中,資料可能會出現在單一的資料庫無法儲存的情況,那麼這個時候我們如何提公升擴充套件性呢?

第二,我們的業務發展了,資料也發展了,但是人有沒有跟上業務發展的節奏呢?

第三,我們的企業在從小到大的過程中多多少少都會有一些核心的資料,比如客戶的使用者資訊,包括一些基礎性配置資訊。這些資訊很多時候是企業裡很多部門都能用到的,那麼核心資料如何共享呢?

同時,企業在用不同的資料庫的過程中,這些資料庫之間的資料怎麼進行資料互動也是我們面臨的乙個痛點。

第四,我們的研發人員和控制人員也會隨著業務規模的增長不斷增加,我們怎樣在人員多的時候保證資料的安全和規範性,同時又不影響開發和測試的效率呢?

最後,資料是企業的核心資產,如何提高資料庫的容災能力,保證我們的資料不會因為天災人禍等丟失?

下面以阿里巴巴整個改造過程中碰到的痛點來介紹一下我們的產品。

上圖為阿里巴巴分布式資料庫的發展歷程。目前阿里巴巴通過分布式資料庫解決問題。drds產品支援多維度的拆分,比如說我們可以按照交易的id、客戶的id、按照時間來做拆分。

上圖為分布式資料庫drds的乙個典型客戶案例,乙個電信運營商的案例。它在業務發展的過程中有增速快、擴充套件性存在瓶頸的痛點。同時,如果客戶用傳統的方法拆分資料庫就面臨著應用改造成本高的問題。drds提公升了儲存擴充套件能力和計算能力,訪問應用透明、平滑擴容、透明生配、透明讀寫分離解決了客戶應用改造成本高的問題。

產品有三個核心能力:支援傳輸同步,支援資料庫遷移,支援資料的訂閱。可以將資料變化轉換成訊息傳送給下游,下游可以根據這個訊息進行應用的**的消費。

上圖為資料傳輸dts的架構。在下層我們支援雲資料庫,包括ecs自建資料庫,使用者idc資料庫以及集團、螞蟻。通過產品可以把資料遷移到不同的目標端,同時也支援資料同步訂閱。我們可以把資料庫的資料轉換成檔案。

上圖為資料傳輸dts客戶案例。客戶面臨的主要問題有:本地的oracle資料庫是客戶業務的效能瓶頸,活動時,oracle上的儲存過程占用了例項將近80%的cpu。

並且要求在系統持續執行、不停機的情況下將oracle上業務遷移到阿里雲drds。

解決方案為:通過dts搭建oracle到drds例項間的實時同步鏈路,保證drds與oracle資料實時同步。在drds和oracle例項間的資料保持實時同步後,業務選擇任一時刻,將部分流量切換到阿里雲上的drds。通過dts,將dts上產生的業務流量流回oracle,oracle和drds在業務完成割接期間互為災備,保證業務連續性。

阿里巴巴資料管理的前世今生。通過資訊化統一管理資料庫,同時通過非運維操作的規則化,自動化,規則加流暢的自助變更,目前dms已經在公有雲端正式商業化了,同時也支援私有化輸出。

上圖為混合雲資料庫管理hdm架構與能力,我們日常運維的工作基本上可以由hdm來解決。hdm的核心能力包括:打通混合雲資料庫架構,多環境統一管理,自動化運維低成本,容災切換,快速彈性擴容,一鍵切換,穩定、容災、彈性。

上圖所示為基於hdm、dbs、dts的容災解決方案。最低階的方式就是我們把本地的備份直接的通過拉檔案的方式扔到oss上,當然這樣比較低階。第二個就是我們可以通過dbs實時備份上雲,備份後也可以通過dbs還原到本地或者rds上。第三我們通過dts將雲下的資料庫同步到雲上的rds。我們雲上的rds跟雲下形成乙個災備,也就是說一旦我們本地的idc無法訪問的時候,我們就可以訪問雲上的rds來保證業務的持續性。這場景是說我們雲下和雲上可以實現雙向同步。這個雙向同步其實可以實現異地多活,就是說我們在a機房有一套資料庫,b機房有一套資料庫,進行雙向同步,這兩個雙向同步可以支撐idc訪問,雲上也可以訪問。只要應用端建設的足夠好,那麼這個雙活是可以實現的。同時基於我們的hdm可以打通我們的使用者idc和雲上雲下,實現資料庫的容災一鍵切換。

剛才跟大家一起分享了幾個產品,下面我們來回顧一下這幾個產品的一些能力。首先是分布性資料庫drds。我們可以理解它是乙個儲存層,來滿足資料庫的擴充套件能力。第二個就是我們的資料傳輸。資料傳輸實現了資料遷移、同步和訂閱的能力,它可以把雲外的資料庫和雲上的資料庫打通。同時它不僅限於這些功能,包括我們自己內部。第三是我們的資料管理,可以理解它是乙個資料庫層面的devops,讓我們企業的開發人員和測試人員不用進行太多的互動就可以完成資料管理這件事。還有就是我們的資料庫備份dbs,來以較低的成本滿足企業備份資料的需求。最後就是我們的混合雲資料管理hdm,可以打通雲上雲下的資料庫,實現一鍵容災切換。

除了產品之外,我們還會輸出一些解決方案,解決方案是依賴於產品的,給我們廣大企業提供一些方案。像研發效率保障和資料安全方案,這個是基於dms。也就是說我們在輸出的時候,我們會幫企業把我們的產品用起來,同時給我們的企業一些建議,比如說我們怎麼去做到更高效、更安全、更合規的資料管理體系。第二是dts。dts本身具有資料遷移、同步的功能,同時也有訂閱功能,那我們會協助企業一起把dts用起來,能夠把資料搬到雲上。再就是我們基於hdm、dbs和dts,會給我們企業輸出多層級的容災解決方案。

網際網路架構

網際網路架構,主要追求的是高可用,可擴充套件 這兩個特性 在這裡做了一些個人的總結,算是給2014年的工作做個總結。推陳出新 一定要做的,死守積累會逐漸丟失人才,但凡技術公司都會不斷更新技術 kiss原則 keep it stupid優秀的 都會很簡單,簡單理解,簡單更改,能把複雜的事情做簡單是一種...

網際網路架構

使用者在同一時間內大量的訪問伺服器,tomcat伺服器併發能力為 200 250左右 jvm調優為1000 硬體條件 物理伺服器處理能力 網路頻寬 2.1 分布式計算 由多個執行緒,共同來完成某項特定的任務,拆合問題 2.2 分布式系統 distributed system 是建立在網路之上的軟體系...

什麼是網際網路?網際網路如何運作?

網際網路是乙個互聯計算機網路的全球系統,它使用網際網路協議套件 tcp ip 連線全球數十億臺裝置。它是乙個由數百萬個本地到全球範圍的私人 公共 學術 商業和 網路組成的網路中的網路,通過廣泛的電子 無線和光纖網路技術相互連線。網際網路承載廣泛的資訊資源和服務,例如互聯超文字文件和全球資訊網 www...