新網銀行 銀行核心業務系統日誌監控平台建設實踐

2021-09-19 22:27:59 字數 3346 閱讀 4835

「網際網路金融正在衝擊傳統的物理銀行概念,商業銀行將成為21世紀滅絕的恐龍,網際網路金融出現之後,物理概念上的銀行將會被顛覆。此外,現有金融格局也將受到衝擊,產生網際網路時代的金融巨無霸。」——中國人民銀行調查統計司副司長徐諾金

四川新網銀行是全國三家網際網路銀行之一,由新希望集團、小公尺、紅旗連鎖等股東發起,於2023年12月28日正式開業,是銀監會批准成立的全國第七家民營銀行,也是四川省首家民營銀行。

新網銀行業務運維部門負責人認為,日誌資料是一座有待開發的金礦。日常中運維故障排查中也需要通過查詢日誌定位問題,所以他希望可以對日誌進行統一的監控和管理,更好的服務業務部門,但是隨著業務體量增大,需要檢視的伺服器越來越多,如何準確獲取運維需要的資訊是乙個難題。

首先,新網銀行對業內比較火的開源日誌系統elk進行了深入的研究,但新網銀行的需求是基於業務層面對日誌進行分析,對日誌分析的功能需求比較個性化,如果使用開源產品,後續就必定需要經常會對其進行一系列的開發和整合,這樣就會消耗很多時間和精力,所以新網銀行更希望有一套成熟的日誌分析解決方案來協助他們對業務進行統一監控和運維。

通過尋找對比市面上的一些日誌分析解決方案廠家,新網銀行了解到袋鼠雲日誌團隊擁有多年pb級日誌資料處理和分析的經驗,對業務日誌分析也有豐富的實踐案例積累,雙方一拍即合,希望通過打造一套完整的日誌分析解決方案,通過對日誌資料進行集中採集、分析、展示,實現對業務系統的實時監控報警、故障分析定位,打造資料驅動的智慧型運維平台體系。

通過日誌分析平台的建設,新網銀行取得了以下成果:

根據流水號

查詢交易日誌了解業務詳情

通過對各交易流水日誌進行解析

監控各應用請求的耗時

將監控指標用視覺化圖表展示

異常資訊一目了然

總結新網銀行和袋鼠雲的整個合作過程,不得不提到袋鼠雲ceo陳吉平經常講到的三角形架構:「資料——技術——業務」。所謂資料驅動,底層一定是技術來支撐,在具體的業務場景裡,挖掘資料的價值,驅動業務創新發展。

新網銀行一期計畫接入行內20多個業務系統,工作量繁重且艱鉅。而且銀行業務系統的複雜性,以及外包開發人員列印日誌的不規範性,給接下來的日誌分析帶來了極大的挑戰。

作為中國網際網路銀行業務的創新標桿,新網銀行理所當然最了解自身的銀行和金融業務。

所以袋鼠雲工程師和新網銀行的專家們進行緊密合作,深入了解新網銀行的業務場景,計畫按照業務的優先順序將一期20多個業務系統分批接入。首先確定接入的是行內關鍵的3個業務系統,基於每個業務系統的特殊日誌分析需求,雙方合作對新網銀行的特定業務日誌進行了定製化的場景分析。

在和新網銀行一起進行日誌場景化分析的過程中,袋鼠雲日誌產品將這些需求沉澱、產品化,袋鼠雲日誌產品的場景分析功能迅速迭代,配合新網銀行內部業務日誌的改造工程,一同完善整體日誌分析方案。

乙個月的時間內,袋鼠雲和新網銀行共同努力,三大關鍵業務系統的日誌分析功能上線,新網銀行的日誌分析平台建設初顯成果。

在和新網銀行建設日誌分析平台的過程中,袋鼠雲日誌實現了和行內大資料平台es的完全相容。

也就是說,經由袋鼠雲日誌平台採集儲存加工處理的日誌資料可無縫對接到很多銀行企業原有的大資料平台中,解決銀行企業資料集中難的痛點和難點。

新網銀行 x 袋鼠雲合作打造的日誌監控平台

(注:圖中資料為演示資料)

2023年6月6日,2023年全國高考開始的前一夜。

當天,還在新網銀行做poc測試的袋鼠雲日誌團隊收到乙個艱鉅的「考題」:

2023年6月9日,新網銀行的投資方之一小公尺科技的創始人雷軍將要到新網銀行視察。為了更直觀、形象地展示行內業務發展情況和科技應用成果,新網銀行計畫採用當前比較流行的資料視覺化的形式。

從需求承接到設計,資料研發,部署一共只有三天時間,聽起來是乙個完全不可能完成的任務。但是不試一下怎麼知道不行?

袋鼠雲了解到這一需求,迅速抽調內部設計和前端、後端資源,全力配合:新網銀行的工程師們迅速抽取、處理和分析資料,袋鼠雲的工程師們則負責大屏展示的設計和前端開發。

3天,72小時,加班加點的努力終於開花結果。

最終,在2023年6月9日,領導來視察前,一起完成了這項艱鉅專案,並獲得了領導的肯定和讚揚。

袋鼠雲用了三天三夜定義了自己倡導的價值觀:客戶第

一、團隊協作、專業、擔當。

作為一家技術驅動的創新型公司,技術實力和經驗是袋鼠雲的生產資料,是立足之本。

但是只有技術,袋鼠雲根本無法為客戶提供最好的服務。在和新網銀行合作的過程中,客戶的大規模量的資料、多元創新的業務讓袋鼠雲的技術有了發揮餘地,客戶對自身業務的專業積累幫助袋鼠雲更快理解銀行日誌大資料的應用場景,更高效地探索所謂的「資料驅動」。

而對於袋鼠雲,除了專業的技術能力外,更重要的,是在和客戶的合作中,真正踐行「客戶第一」的服務理念。探索「資料驅動」,袋鼠雲期待和更多的夥伴一起合作,實踐。

目前袋鼠雲旗下產品均入駐阿里雲企業服務第一平台—雲市場,共同幫助更多的企業共同完成轉型第一步!目前袋鼠雲已經服雲市場近萬人使用者群體,同時雲市場也為使用者提供「不滿意退款」、「全程擔保交易」、「軟體交付全程監管」、「6道關卡篩選優質商家與商品」等四個100%承諾,讓使用者消費無憂,也是我們給予客戶的承諾。

進入店鋪,尋找您所需要的商品。

銀行核心業務系統研發日記(二)

貸款業務做了如上的設計後,居然忘了對金融產品的支援,經過昨天晚上的考慮,覺得應把金融產品 放到貸款合同表,這樣就支援了乙個產品 下有多個核算賬號,貸款合同等於是乙個綜合賬戶。卡業務也同理,因此需要在卡憑證中增加乙個字段,金融產品 以核算這類組合產品。貸款台賬中的本金 逾期本金 應收利息,如放在乙個記...

引進國外銀行核心業務系統的討論(一)

我國銀行資訊化經過前些年 資料大集中 的初步準備,目前,正在進入乙個全新的 應用系統整合 階段。在整合過程中,建設核心業務系統成為乙個新熱點。此時,國內銀行建設核心業務系統面臨兩種選擇 一是自主開發,二是整體引進。承載著打造 後發優勢 及快速與國際接軌的夢想與希望,國內一些銀行紛紛走上整體引進之路。...

銀行核心系統是什麼

輔助功能都剝離到外圍系統去了,留下乙個小而精的核心系統處理核心業務,這就是 瘦核心,大外圍 這樣做的好處在 首先結構清晰功能明確啦。每個業務流程都乙個開始於外圍,集中到核心系統,核心系統再反饋結果到外圍。大夥該 幹嘛幹嘛,責任明確。企業管理不都提倡這個嘛。其次,這樣的系統架構可以快速適應需求變化。市...