聽風辨器,神功護體 IT運維人員的九陽神功(中)

2021-10-07 17:33:15 字數 3361 閱讀 3729

今天恰逢2023年下半年第一天。2020太難了,上半年忙著見證歷史,人人都不易。希望大家保持樂觀,下半年一切都會好起來!

言歸正傳,繼續說運維。修煉至此,大家都已具備九陽神功前三重的功力,浪跡it江湖三十年的融哥帶大家繼續乘風破浪、精益求精。

頁面打不開、系統卡頓、應用宕機……每天it運維人員被各種飛來橫禍困擾,如六大派狠人圍攻光明頂。要想搞定業務執行過程中的種種問題,你必須變成乙個小號的魔教教主,打通任督二脈、調動全身功力,方能轉危為安,世界和平。

九陽神功第四重:縮骨**

他心中只乙個念頭:「這小子比我高大,他能鑽過,我當然更能鑽過。」想法原本不錯,只是有一點卻沒料到:張無忌已練成了九陽神功中的縮骨之法。——《倚天屠龍記》

縮骨**者,化大為小,小中見大,見微知著也。

魔鬼往往在細節中。對於業務系統的監控,基本的監控粒度有多大,決定了故障定位的精度。上一期融哥曾經給大家講過監控系統的資料**,以旁路映象資料流為最佳選擇,資料流中全部業務系統之間的資料流糾纏在一起,剪不斷理還亂,必須化大為小,從大的資料流中拆分乙個個小的邏輯物件,才能鎖定真正的問題。

舉個例子,上面是乙個的典型銀行應用。

粗看起來,每分鐘2000筆的交易量,平均響應時間100ms,成功率90%,響應率90%,看起來還不錯。大部分業務監控系統,只能做到這一步了。

但如果我們細看不同的渠道發出的請求,就會發現,應用細分為網銀、櫃面、第三方支付和理財平台四個部分,其中前三個是正常的,但理財平台的成功率和響應率都只有10%,已經是嚴重故障了。

因為理財平台的這200筆交易,只佔了總交易量的10%,問題被其他交易掩蓋了。如果這些細微的隱患不及時發現,以後會逐漸演變為更大範圍、更嚴重的問題。

這就是細化監控物件、化大為小、見微知著的價值所在。作為乙個運維人員,必須練就一雙慧眼,有一套神器,方能及時杜絕小隱患引發的**煩。

運維人員使用的軟體工具,必須具備細分監控物件的能力。華青融天的ezsonar系統(鷹眼),乙個重要特點就是微監控,在數十家金融機構得到廣泛應用。

九陽神功第五重:龜息**

這乾坤一氣袋密不通風,他在袋中耽了這許多時候,早已氣悶之極,仗著內功深湛,以綿綿龜息之法呼吸,需氣極少,這才支援了下來。——《倚天屠龍記》

融哥聽說有氣長命長之說,龜一次呼吸45秒一般壽命500年,人一次呼吸5秒一般壽命80年。要是看見乙個人大口喘氣,上氣不接下氣,估計離掛掉不遠了。

所謂龜息**,就是內功高手對生命節奏的掌控。從容淡定,方能應付裕如、行穩致遠也。

作為乙個it系統的運維人員,最重要的就是不要讓自己被虛假的無意義的資訊淹沒,忙的四腳朝天,反而忽視了重要的問題。我們經常看到,大量軟硬體平台和應用系統不斷發出告警資訊,快速刷屏,在這種情況下,如何對告警進行高效的精準處理,分級、壓縮和降噪,去偽存真,及時識別真正的故障和隱患,就是最重大的課題了。

第一是減少誤告警。比如,某一時刻交易量突然降低,但只是暫時性波動,很快又恢復正常,這種異常是沒必要告警的。有些批處理也可能導致某一刻交易量突發,這種也屬正常情況,往往也不需要告警。

第二是準確把握業務的正常規律,精準地對異常業務流發出告警。這張圖顯示了對交易量的監控,利用大資料和機器學習技術,根據歷史資料產生動態基線,以基線來反映正常交易量的規律,如果真實的交易量與基線的差異過大,則說明發生了異動,此時才觸發告警,避免誤告警的發生。

第三是提公升每乙個告警的有效性,減少告警數量和頻次,通過告警關聯功能找出事件之間的聯絡,去除告警雜音,讓告警更加精準有效。

凡此種種,在告警的處理上要尋找一種平衡,通過智慧型的演算法,反映實際業務的規律和異常事件間的關係,不漏報不誤報,讓運維人員應對從容。這就是華青融天ezsonar強調的「輕告警」。

九陽神功第六重:壁虎遊牆

趙敏笑道:「張公子,你的壁虎遊牆功當真了得,這陷阱是純鋼所鑄,打磨得滑不留手,連細縫也沒一條,你居然游得上去!」——《倚天屠龍記》

一說到牆,幹運維的同學們就樂了。我們習慣什麼都上牆,有什麼話咱對著牆說。融哥在運營商工作十多年,參觀運營商總部的保留專案就是去看運維中心的大牆,幾十塊大屏,全部專業網路運作情況一目了然,盡收眼底,極具視覺衝擊力。

如今的牆更是今非昔比,不僅視覺化效果美輪美奐,實時性也可以達到秒級,網路、伺服器和應用的問題,第一時間上牆。數字和紅綠點線游動跳躍,如同壁虎遊牆。

不用多解釋,視覺化做的好,各種實時資料集中直觀地顯示,是大屏的最大優點,領導喜歡我也喜歡。一般都是從大屏發現了問題,才一步步向下鑽取,挖掘到問題的根源,所以一塊豐富而直觀的大屏、實時性的資料展現、隨心所欲的檢視定製、方便快捷的鑽取功能,是每個運維人員的夢想,也是衡量乙個監控系統好壞的關鍵。

行文至此,九重神功說到了三分之二,後事如何,且聽融哥下回分解。

華青融天主力產品線

華青融天自2023年成立,一直致力於it智慧型運營的產品研發和技術服務,以ai驅動it智慧型運營,發展出乙個平台、三個業務線產品:業務運維ezsonar、安全運營ezaccur、業務洞察和行為分析ezuba,全力為使用者打造乙個高粘度的實時大資料平台。

目前,公司擁有數十項發明專利、技術資質、軟體著作權以及多項自主智財權產品,並與清華、北大、北航等院校開展產學研合作,共建「人工智慧綜合實驗室」「大資料與智慧型安全管理聯合實驗室」。

擁有包括招商銀行、中信銀行、國開行、平安集團等在內的眾多客戶,行業遍及金融、保險、稅務、醫療、航空、軍工等十多個領域。

或發郵件至 [email protected]

索取公司和產品資料

說明:文中電影劇照

來自93版《倚天屠龍記之魔教教主》