併發量大 資料量大的網際網路業務資料庫設計軍規

2021-09-24 18:54:59 字數 2969 閱讀 5237

一、基礎規範

(1)必須使用innodb儲存引擎

解讀:支援事務、行級鎖、併發效能更好、cpu及記憶體快取頁優化使得資源利用率更高

(2)新庫使用utf8mb4字符集

解讀:萬國碼,無需轉碼,無亂碼風險,節省空間

(3)資料表、資料字段必須加入中文注釋

解讀:n年後誰tm知道這個r1,r2,r3欄位是幹嘛的

(4)禁止使用儲存過程、檢視、觸發器、event

解讀:高併發大資料的網際網路業務,架構設計思路是「解放資料庫cpu,將計算轉移到服務層」,併發量大的情況下,這些功能很可能將資料庫拖死,業務邏輯放到服務層具備更好的擴充套件性,能夠輕易實現「增機器就加效能」。資料庫擅長儲存與索引,cpu計算還是上移吧

(5)禁止儲存大檔案或者大**  

解讀:為何要讓資料庫做它不擅長的事情?大檔案和**儲存在檔案系統,資料庫裡存uri多好

二、命名規範

(6)只允許使用內網網域名稱,而不是ip連線資料庫

(7)線上環境、開發環境、測試環境資料庫內網網域名稱遵循命名規範

業務名稱:*** 

線上環境:dj.***.db 

開發環境:dj.***.rdb 

測試環境:dj.***.tdb 

從庫在名稱後加-s標識,備庫在名稱後加-ss標識 

線上從庫:dj.***-s.db 

線上備庫:dj.***-sss.db 

(8)庫名、表名、欄位名:小寫,下劃線風格,不超過32個字元,必須見名知意,禁止拼音英文混用

(9)表名t_***,非唯一索引名idx_***,唯一索引名uniq_***

三、表設計規範

(10)單例項表數目必須小於500

(11)單表列數目必須小於30

(12)表必須有主鍵,例如自增主鍵

解讀: 

a)主鍵遞增,資料行寫入可以提高插入效能,可以避免page**,減少表碎片提公升空間和記憶體的使用

b)主鍵要選擇較短的資料型別, innodb引擎普通索引都會儲存主鍵的值,較短的資料型別可以有效的減少索引的磁碟空間,提高索引的快取效率 

c) 無主鍵的表刪除,在row模式的主從架構,會導致備庫夯住 

(13)禁止使用外來鍵,如果有外來鍵完整性約束,需要應用程式控制

解讀:外來鍵會導致表與表之間耦合,update與delete操作都會涉及相關聯的表,十分影響sql 的效能,甚至會造成死鎖。高併發情況下容易造成資料庫效能,大資料高併發業務場景資料庫使用以效能優先

四、字段設計規範

(14)必須把字段定義為not null並且提供預設值

解讀: 

a)null的列使索引/索引統計/值比較都更加複雜,對mysql來說更難優化 

b)null 這種型別mysql內部需要進行特殊處理,增加資料庫處理記錄的複雜性;同等條件下,表中有較多空字段的時候,資料庫的處理效能會降低很多 

c)null值需要更多的儲存空,無論是表還是索引中每行中的null的列都需要額外的空間來標識 

d)對null 的處理時候,只能採用is null或is not null,而不能採用=、in、<、<>、!=、not in這些操作符號。如:where name!=』shenjian』,如果存在name為null值的記錄,查詢結果就不會包含name為null值的記錄 

(16)禁止使用小數儲存貨幣

解讀:使用整數吧,小數容易導致錢對不上

(17)必須使用varchar(20)儲存手機號

解讀: 

a)涉及到區號或者國家代號,可能出現+-() 

b)手機號會去做數**算麼? 

c)varchar可以支援模糊查詢,例如:like「138%」 

(18)禁止使用enum,可使用tinyint代替

解讀: 

a)增加新的enum值要做ddl操作 

b)enum的內部實際儲存就是整數,你以為自己定義的是字串?

五、索引設計規範

(19)單錶索引建議控制在5個以內

(20)單索引欄位數不允許超過5個

解讀:字段超過5個時,實際已經起不到有效過濾資料的作用了

(21)禁止在更新十分頻繁、區分度不高的屬性上建立索引

解讀: 

a)更新會變更b+樹,更新頻繁的字段建立索引會大大降低資料庫效能 

b)「性別」這種區分度不大的屬性,建立索引是沒有什麼意義的,不能有效過濾資料,效能與全表掃瞄類似 

(22)建立組合索引,必須把區分度高的字段放在前面

解讀:能夠更加有效的過濾資料

六、sql編寫規範

(23)禁止使用select *,只獲取必要的字段,需要顯示說明列屬性

解讀: 

a)讀取不需要的列會增加cpu、io、net消耗 

b)不能有效的利用覆蓋索引 

c)使用select *容易在增加或者刪除欄位後出現程式bug 

(24)禁止使用insert into t_*** values(***),必須顯示指定插入的列屬性

解讀:容易在增加或者刪除欄位後出現程式bug

(25)禁止使用屬性隱式轉換

解讀:select uid from t_user where phone=13812345678 會導致全表掃瞄,而不能命中phone索引,猜猜為什麼?(這個線上問題不止出現過一次)

(26)禁止在where條件的屬性上使用函式或者表示式

解讀:select uid from t_user where from_unixtime(day)>='2017-02-15' 會導致全表掃瞄 正確的寫法是:select uid from t_user where day>= unix_timestamp('2017-02-15 00:00:00')

(27)禁止負向查詢,以及%開頭的模糊查詢

解讀: 

a)負向查詢條件:not、!=、<>、!<、!>、not in、not like等,會導致全表掃瞄 

b)%開頭的模糊查詢,會導致全表掃瞄 

(28)禁止大表使用join查詢,禁止大表使用子查詢

解讀:會產生臨時表,消耗較多記憶體與cpu,極大影響資料庫效能

mysql 網際網路 MySQL網際網路業務使用建議

一 基礎規範 表儲存引擎必須使用innodb 表字符集預設使用utf8,必要時候使用utf8mb4 解讀 1 通用,無亂碼風險,漢字3位元組,英文1位元組 2 utf8mb4是utf8的超集,有儲存4位元組例如表情符號時,使用它 禁止使用儲存過程,檢視,觸發器,event 解讀 1 對資料庫效能影響...

網際網路與網際網路的區別

網際網路的英文單詞是 internet,網際網路的英文單詞是 internet。在英語中,專有名詞首字母都是大寫,用於特指某一事物。大寫的 internet 是作為乙個專有名詞出現的,所指的是由阿帕網發展而來的現如今全球最大的計算機網路,稱之為網際網路。小寫 internet 是作為乙個普通單詞出現...

網際網路的大資料神話 NoSQL

本文摘抄於 縱橫大資料 雲計算資料基礎設施 何小朝著 chapter5.newsql 關聯式資料庫聯邦 聯合 5.4.2 網際網路的神話 對強一致性的要求放鬆,是因為 網際網路的分布式特性,使資料一致性的要求水平不得不降低,而對於使用者來說是可以接受的。更重要的一點 知名的網際網路企業,除了其業務經...