尊敬的各位領導，各位來賓大家下午好，我是平安銀行技術負責人李中原，今天由我代表平安銀行給大家分享平安銀行在分布式系統建設中的經驗。
我的分享有四個部分，第乙個是分布式psss平台專案，第二個是同城多活的建設，第三個是自動化運維建設，最後是彈性擴容的能力建設。
a+信用卡核心是國內首例由大型機直接下沉到分布式系統的核心系統，信用卡建設的契機是在我們一級卡量精準服務，效能突破，成本控制，並且快速創新能力受到底層服務框架制約的情況下，行領導提出需要建設一套全新的能夠實現快速業務交付以及靈活、富有彈性的新的信用卡核心系統。
於是2023年12月份我們開始啟動了信用卡a+專案，整個專案歷時兩年，於今年10月31日正式投產。由於今年雙11規則是從11月1日開始，所以新系統上線的第二天就要承接雙11巨大的壓力，但在這個基礎上我們的系統最終還是非常平穩的上線。
信用卡a+系統採用單元化dsu分布式架構，基於私有雲和psss平台建設，應用微服務化，拆分解耦。dsu整體設計邏輯採用按客戶維度進行分片，由gns去負責解析，完成分片，由dls實現分片的路由，分片內部實現自包含，所謂自包含就是說我們所有的客戶的業務均可以在單個分片完成，包括交易授權、用卡業務，也包括我們的批量業務。
在dsu之外，為了滿足聚合查詢、分析、歸檔需求，我們同時建設一套sharding版的tdsql，用於實現聚合的查詢，我們支援全量、增量以及實時的資料同步，同時為了完成資料歸檔，我們建設了一套hadoop集群作為歸檔資料平台。
接下來第二部分是同城多活，這是我們反覆打磨，不斷極限測試的乙個部分。首先這個是我們dsu部署架構，部署架構中採用了非常典型的兩地三中心，一主五備的架構，它的架構的特點是同城備機強分步，同機房非同步，不管什麼場景下，包括硬體、軟體各種場景的故障均實現了rpo為0，完成跨機房、強同步和一鍵切換。
第二個是異地容災模式，半小時是在對系統包括資料庫做極限壓力的時候它的最大的乙個值。其實我們上線到目前為止兩個月我們觀察到的rto和rpo的值遠沒有到半小時，其中還包括跑批的時間。
正常業務的訪問場景是業務流量進入系統的時候通過網域名稱訪問我們的資料庫，同城部署的時候應用不需要做任何修改，它的網域名稱和埠都是相同的，由我們的gslb元件解析，生成不同機房不同的lvs vip，根據我們的流量權重的配置**到相應的閘道器，再由閘道器專發到資料庫主庫，讀寫分離場景中**到備庫。
這個架構最大的特點有兩個，第乙個就是我們所有元件是同城多活的，另外乙個我們的應用流量是本地訪問的，最大限度減少了機房之間的訪問互動。
這是我們lvs高可用組，在乙個機房整體故障的場景，gslb會自動檢測到我們的lvs group不可用並自動啟動切換，切換的時候會直接在網域名稱解析層解析到另外乙個機房的vip，另外乙個機房的lvs把流量往下**。這個過程中根據我們的測試，正常基本上是幾秒到十幾秒就可以完成。
還有乙個場景就是我們的proxy在乙個機房完全宕掉的情況下，gslb監測到proxy在整個機房不可用的情況把網域名稱切到另外乙個機房。
分布式自動運維的建設，分布式資料庫我個人覺得在我們運維和建設過程中可能最大的難點是它的數量特別龐大，我們對它做運維和建設的過程中可能會面臨管理上難度高，公升級替換困難的情況。我們把我們tdsql相關的元件做這麼乙個分類，其實它們有機結合在一起的，核心的元件跟業務的訪問造成影響的元件，包括lvs、閘道器以及tdsql，它們的公升級我們採用滾動的公升級方案。
自動化運維過程中我們著力打造了一套全鏈路核心的部件，能夠實現一鍵切換，這裡強調一下，一鍵切換指的是哪怕不是很熟悉的運維，只要知道我們的規範，按照我們的要求去做就可以直接一鍵完成我們這個切換的操作，主要包含主備的同城切換，測試的過程中我們也反覆在壓測，正常的乙個機房之間的切換我們控制在一分鐘以內做完切換，如果希望更快的話可以更快，但是為了避免機房之間雪崩效應，對它的速度有所控制的；單個dsu切換時間四到五秒，除了這些，我們還包括流量的切換，以及強同步不同級別的切換方案，也包括計算資源可以實現一鍵的擴容。另外就是強分布的這種批量的管理和一鍵問題處理能力。
另外就是在做資料庫自身的建設以外，我們也著力建設一些工具，這些工具主要支撐應用以及開發業務對我們系統的訪問，主要包含這樣幾個部分：查詢工具，發布工具、資料比對工具以及容量平台。
簡單來說，查詢工具因為是多dsu的部署，查詢可能會有查個別dsu或者全量dsu的需求，由於銀行屬性，我們做了一些脫敏限制，在沒有許可權的情況下，查到的資料會被我們自動脫敏。
第二部分是發布工具，在dsu尤其是在多dsu的變更過程中，如果由於變更的故障導致業務故障，那這個故障其實是災難性的，因此我們重點打造了我們的發布工具，發布工具中內嵌sql審核的功能，有相應的風險管控，還提供灰度發布以及發布操作的回滾功能。
另外就是資料比對，因為我們是多dsu灰度發布，過程中有可能個別的dsu出現失敗的情況，因此我們提供了資料比對的工具。
最後還有容量平台，容量平台是我們提供了乙個公用的平台，主要給業務，給開發提供容量的管理，趨勢的**，並可以在我們平台上實現自動的資料歸檔的功能。
最後，我們來看我們彈性擴容的能力，dsu場景下，我們認為擴容要以防為主，以治為輔，以防為主是指盡量給我們的單個dsu容量設限，正常的情況下給dsu預留一定的buffer，包括對我們的交易以及批量業務做拆分，另外我們也支援進行橫向的擴容。
擴容的場景簡單來說其實有這樣兩個，乙個是橫向的擴容，乙個是縱向的擴容，當然，我們要盡可能的去避免縱向擴容，但是我們在系統建設過程當中也預留了巨大的縱向擴容的能力，在我們的建設過程中我們單個dsu資料庫例項僅佔整機資源的小部分，也就是說我們有能力進行幾倍的擴容，我們的擴容的重點在於dsu橫向擴充套件，橫向擴充套件簡單來說就是新加dsu。方案大體是這樣，通過gns層調整分片的路由規則，由新的路由規則控制我們新增的使用者，以及流量的比例，實現平滑進入到新擴容的dsu，從而實現非常平滑的擴容。
我的分享就到這裡結束，感謝大家。
本文由部落格一文多發平台 openwrite 發布！
IBM 大型機培訓課程分析
主要課程簡介 1.os 390 ibm的乙個作業系統 4.cobol 面向商業的通用語言，又稱為企業管理語言 資料處理語言等，common business oriented langauge 是最早的高階程式語言之一，是世界上第乙個商用語言。在計算機的應用領域中，資料處理是應用最廣泛的乙個領域。資...
IBM 大型機培訓課程分析
主要課程簡介 1.os 390 ibm的乙個作業系統 4.cobol 面向商業的通用語言，又稱為企業管理語言 資料處理語言等，common business oriented langauge 是最早的高階程式語言之一，是世界上第乙個商用語言。在計算機的應用領域中，資料處理是應用最廣泛的乙個領域。資...
重新發現大型機
全球業務環境既多種多樣又靈活多變，受到客戶需求 監管和社會政治問題的影響。每年，ibm 都在全球範圍面向1400多名企業管理者展開年度調查，什麼是當今世界所面臨的重要問題。在2005年，人們認為收入上限是首要問題，然後是贏利能力以及成本控制。接受調查的管理者表示，為了解決上述問題，主要需要做到改善業...