網際網路dba

2021-09-06 06:53:39 字數 1709 閱讀 6034

引用:

眾所周知,網際網路dba與傳統行業dba有很大的不同,那就是管理的機器多,新技術更新快,面對的開發多、網路環境複雜、要求7*24待機;這樣就導致網際網路dba的工作在傳統dba工作之上,增加了更多的複雜性,我們必須考慮如何大批量部署,如何集中化監控、如何解決單點故障而保障7*24,而為了做到這些,不是靠堆人力,我們必須有乙個完整的平台作為支撐,那麼資料庫平台到底要建成什麼樣子呢?

1、強有力的監控系統(監+控):

監控是我們的眼睛,我們不可能7*24個小時盯著我們的db,所以,我們需要監控系統來幫我們盯著,一旦異常,監控不僅僅通知我們,而必須要有控制,例如:mysql 從庫宕機了我們通過監控自動讓其下線;從庫同步狀態失效了,可以自動修復同步等;並且,隨著機器的增加、例項daemon的增加,我們會發現我們的手機報警會急劇增加,為了我們自己晚上能睡乙個安穩覺,我們怎麼去降低我們的報警,例如:哪些該簡訊,哪些該郵件;所有機器的磁碟空間報警是否可以整合後在報呢?這就是我們監控系統必須考慮的,

2、自動審核系統:

開發很多,專案很多,但是開發的習慣都不一致,可能會導致我們審核表結構的時頭都看大了,為了保證線上的統一,為了保證不被開發的神奇sql搞傷,不被n多的專案審核壓垮,我們必須有乙個自動建表審核系統,我們定義一些規則,如:不能用預留字段、主鍵必須為int,bigint等,然後開發填寫準備上線的表結構,通過系統自動審核,審核通過的,自動上線,審核不通過的,給出建議;

3、慢日誌分析系統:

隨著自動審核系統的上線,我們可能會漏掉一些索引使用不太好的sql,那麼我們就需要慢日誌分系統幫助我們,在設計該系統時候,我們需要考慮是實時抓取慢日誌,還是每天定期推送慢日誌、慢日誌抓取後是立即推送給開發還是自動分析完以後給出建議給開發、慢日誌還要考慮一些sql是否需要過濾,因為他可能是每天的統計,當然這些都是自動的,設計完後,不需要人工介入;

4、統計系統:

我們必須清晰的知道線上db的整體運**況,訪問量的變化、寫入量的變化、圖是死的,他不會欺騙任何人;我們能通過訪問統計知道是否有惡意訪問、是否需要優化,是否需要增加節點抗住更大的壓力;

5、備份系統:

不管你信不信,我是信了,冷備份總是我們的救命草,不管我們做的多麼好,故障總會有,drop database也會發生,所以,乙個完整的備份系統,勢在必行,我們的備份是否正常,備份的資料是否能恢復,恢復需要多少時間,都是我們備份系統需要考慮的;

6、管理系統:

我們機器少則上百臺,多則可能好幾千,如何清晰知道每台機器跑了多少daemon,db proxy下面有哪些機器,如何能對主庫機器、從庫機器進行指令碼分別分發等;都需要管理系統來幫我們完成;

7、中間層:

是把雙刃劍,他能給我們帶來好的擴充套件,例如:動態新增從庫、主庫失效檢測等;但是他帶來了dba管理的複雜性、帶來了更多的故障點、帶來了更多的bug、如果db proxy效能不好的話,那就更糟了,並且為了解決client透明,我們必須考慮很多,例如:連線保持,如:字符集、last_insert_id、use dbname等;如果我們有人力開發維護,那麼我相信proxy會帶給我們歡樂;

以上各個系統都是為我們管理db提供支援,如果沒有這些系統支援,那麼資料庫管理就談不上平台,談不上批量管理,談不上承載百億訪問量,百t資料量的資料庫;當然在涉及這樣的系統時候,我們也要考慮新技術的引進,例如:如果能快速的打造nosql 平台等;當然在部署這些模組的時候,我們時時刻刻記得,所有的模組都是會變的,我們需要不停的學習,不停的改進,才會打造宕機時間更低的資料庫服務;【三天不讀書、智商輸給豬】

後續會慢慢分享出,我們這些模組是如何做的,及其進度如何。

網際網路DBA需要做那些事

很早前就想寫篇文章介紹一下網際網路dba需要幹的一些事情,但苦於沒有時間,忙於平台建設,最近,各個模組都初具規模,故有時間靜下心來,介紹一下。眾所周知,網際網路dba與傳統行業dba有很大的不同,那就是管理的機器多,新技術更新快,面對的開發多 網路環境複雜 要求7 24待機 這樣就 導致網際網路db...

mysql 網際網路 MySQL網際網路業務使用建議

一 基礎規範 表儲存引擎必須使用innodb 表字符集預設使用utf8,必要時候使用utf8mb4 解讀 1 通用,無亂碼風險,漢字3位元組,英文1位元組 2 utf8mb4是utf8的超集,有儲存4位元組例如表情符號時,使用它 禁止使用儲存過程,檢視,觸發器,event 解讀 1 對資料庫效能影響...

網際網路與網際網路的區別

網際網路的英文單詞是 internet,網際網路的英文單詞是 internet。在英語中,專有名詞首字母都是大寫,用於特指某一事物。大寫的 internet 是作為乙個專有名詞出現的,所指的是由阿帕網發展而來的現如今全球最大的計算機網路,稱之為網際網路。小寫 internet 是作為乙個普通單詞出現...