國際化的SRE

2021-09-22 23:44:34 字數 2583 閱讀 2283

sre在ae的定義僅僅指與可用性相關,當它指一種技術方面時,是指原來的穩定性的概念;當它用來指團隊時,是指各技術團隊負責穩定性的同學組成的虛擬團隊,類似於原來的穩定性小組。

因此寫作目的有兩個:

一、隨著集團國際化的必然趨勢,以及國際化的共同技術特點,期望能將經驗輸出給集團,甚至是sre的一些工具直接賦能集團國際化。

二、部分工作還處於初期階段,也想在ae內部統一思想,大家朝乙個方向努力。

a. 可用性是要求724所有國家*所有時區的可用性。而我們的技術團隊主要是在杭州

b. 全球網際網路互聯互通質量低,複雜度也很高

c. 效率、成本與穩定如何平衡,如何跑得又快又穩定又小投入?(所以國際化bu都面臨解決問題基礎設施的投入成本巨大的問題)

可用性治理是一組矛盾存在。需要處理好成本、效率、可用性三者之間的平衡,才能以最小的成本取得最大的回報。因此必須分析清楚從哪兒投入,先做什麼後做什麼不做什麼。

1)可用性的追求是會降低研發效率的

2)可用性的追求是會增加研發和技術成本的

3)通過流程規範的建設是可以提公升可用性的,但是會極大降低研發效率

4)通過工具化和智慧型化實現可用性,對效率提公升有幫助,也對成本節省有幫助

a. 分級治理介紹

由於可用性的追求是有成本的,因此,對穩定性治理工作進行分級,高roi的優先順序高,先投入做。roi就是指可用性回報/(成本投入與效率降低)。

目前ae在可用性方面重點投入在roi最高的基礎治理級別。將在下一章詳細介紹基礎治理的內容。但之所以選擇對應的內容作為基礎治理,是因為涉及團隊最少,涉及流程最少,而可用性的回報最高。除了相關的工具建設和流程建設外,ae內部還通過kpi紅線保證基礎治理得到執行。

b. 迭代方向

由於工具化和智慧型化的對效率和成本有正向作用,因此我們的目標是要實現工具化和智慧型化,來做到最大的roi。但是工具化和智慧型化往往需要一次性的大投入,而這個投入如果沒有找準方向或出現偏差,則會大大浪費成本,因此在實現工具化和智慧型化前,先通過規範和流程進行確保,一方面可以驗證可行性,另一方面將工具和智慧型化的原理擺在大家面前,可以讓大家更理解對應的原理。

因此我們的迭代思路是:先流程和規範試水,驗證通過後,通過工具化和智慧型化實現

c. 總結

考慮roi。通過roi區分分級治理,高優先順序治理先執行;執行過程是規範先行,向工具智慧型化迭代的方式。

基礎治理包括如下幾項:

1)容量建設:確保有大於2個機房作為災備機房,可以承擔全域性容量,通過區域化部署分流技術與常態化壓測技術進行日常壓測,確保各機房滿足相應的容量要求

2)容災建設:通過跨區域的容災切換實現更高的可用性

3)變更管理:通過灰度發布以及分機房發布,當發生問題時進行容災切換的方式確保變更過程所帶來的問題及早發現並解決

4)網路治理:通過大資料手段實時獲取不同網路鏈路的時延及可用情況,進行精細化實時的網路鏈路切換

目前ae技術對這塊兒還處於探索階段,部分功能已實現,歡迎共建。

基於大資料技術構建sre治理,實現工具化及智慧型化

1)分析集團各監控工具的資料,識別出有用的字段,並且基於springboot微服務體系定製一些資料字段

2)通過對歷史故障的分析,業內成功經驗,以及集體智慧型討論,確認思路及模型。可能採用分類模型或回歸模型,甚至是規則驅動的模型來按需對資料進行加工

3)實現模型的實時化並且將結果回流到實時服務中

4)基於實時服務構建實時工具

5)工具的分類緊貼穩定性治理工具。除了基礎治理和應用治理等基本分類外,我們還強調通過小而美的工具集來實現可用行治理及日常運維工作

6)探索實時智慧型的問題診斷

好的工具平台需要運營和規範保證,舉例當從不出現故障時,故障處理工具是否會生疏呢,那就演習吧。工具開發的同時我們會思考這個問題並確保工具的持續運營。

智慧型化還沒有成型的工具,都在開發中,但工具化方面我們已經有比較好的工具分享給大家:

飛虎隊作戰處理協作平台

飛虎隊作戰處理協作平台是規範的工具化,由於規範執行較良好,因此向工具化方向進行了迭代

當我們在釘釘中溝通故障的處理過程時,肯定面臨資訊標準化,資訊可見性,資訊時效性等等問題帶來的問題處理效率下降問題。飛虎隊故障處理協作平台是故障處理的溝通平台,目前功能很簡單,就是將處理過程標準化及更好的視覺化,使得資訊傳遞高效,使sre成員快速進行問題定們一狀態以及思考更加全面。

未來通過智慧型化手段,將其中的處理過程由人工干預改造為系統自動處理。舉例容災切換前先人工check機房狀態再人工進行切換,這個過程未來將實現系統自動處理。

軟體國際化值頁面國際化

國際化 軟體的國際化 軟體開發時,要使它能同時應對世界不同地區和國家的訪問,並針對不同地區和國家的訪問,提供相應的 符合來訪者閱讀習慣的頁面或資料。國際化又稱為 i18n internationalization 對於軟體中的選單欄 導航條 錯誤提示資訊,狀態資訊等這些固定不變的文字資訊,可以把它們...

外掛程式國際化

外掛程式國際化 在我們的應用中,難免會遇到國際化的問題,eclipse rcp給我們提供了很好的方案,甚至可以在後期批處理完成,但如果是其它外掛程式未提供我們需要的語言版呢?我們可以如何為它們提供語言包呢?乙個簡單的例子,你用messagedialog開啟對話方塊時,按鈕一般時 ok,cancel,...

資源國際化

properties 檔案裡的資源必須經過編碼,不能出現中問,日文等。且必須是ascii 碼。jdk 中bin 資料夾下的native2ascii.exe 可以把資源轉換為ascii 碼。在命令提示符中輸入 native2ascii encoding utf 8 sourcefile targetf...