MySQL資料庫分表的3種方法

2021-09-02 17:02:29 字數 4926 閱讀 9933

一,先說一下為什麼要分表

當一張的資料達到幾百萬時,你查詢一次所花的時間會變多,如果有聯合查詢的話,我想有可能會死在那兒了。分表的目的就在於此,減小資料庫的負擔,縮短查詢時間。

根據個人經驗,mysql執行乙個sql的過程如下:

1,接收到sql;2,把sql放到排隊佇列中 ;3,執行sql;4,返回執行結果。在這個執行過程中最花時間在什麼地方呢?第一,是排隊等

待的時間,第二,sql的執行時間。其實這二個是一回事,等待的同時,肯定有sql在執行。所以我們要縮短sql的執行時間。

mysql中有一種機制是表鎖定和行鎖定,為什麼要出現這種機制,是為了保證資料的完整性,我舉個例子來說吧,如果有二個sql都要修改同一張表的同一條資料,這個時候怎麼辦呢,是不是二個sql都可以同時修改這條資料呢?很顯然mysql對這種情況的處理是,一種是表鎖定(myisam儲存引擎),乙個是行鎖定(innodb儲存引擎)。表鎖定表示你們都不能對這張表進行操作,必須等我對錶操作完才行。行鎖定也一樣,別的sql必須等我對這條資料操作完了,才能對這條資料進行操作。如果資料太多,一次執行的時間太長,等待的時間就越長,這也是我們為什麼要分表的原因。

二,分表

1,做mysql集群,例如:利用mysql cluster ,mysql proxy,mysql replication,drdb等等

有人會問mysql集群,根分表有什麼關係嗎?雖然它不是實際意義上的分表,但是它啟到了分表的作用,做集群的意義是什麼呢?為乙個資料庫減輕負擔,說白了就是減少sql排隊佇列中的sql的數量,舉個例子:有10個sql請求,如果放在乙個資料庫伺服器的排隊佇列中,他要等很長時間,如果把這10個sql請求,分配到5個資料庫伺服器的排隊佇列中,乙個資料庫伺服器的佇列中只有2個,這樣等待時間是不是大大的縮短了呢?這已經很明顯了。所以我把它列到了分表的範圍以內,我做過一些mysql的集群:

linux mysql proxy 的安裝,配置,以及讀寫分離

mysql replication 互為主從的安裝及配置,以及資料同步

優點:擴充套件性好,沒有多個分表後的複雜操作(php**)

缺點:單個表的資料量還是沒有變,一次操作所花的時間還是那麼多,硬體開銷大。

2,預先估計會出現大資料量並且訪問頻繁的表,將其分為若干個表

這種預估大差不差的,論壇裡面發表帖子的表,時間長了這張表肯定很大,幾十萬,幾百萬都有可能。 聊天室裡面資訊表,幾十個人在一起一聊乙個晚上,時間長了,這張表的資料肯定很大。像這樣的情況很多。所以這種能預估出來的大資料量表,我們就事先分出個 n個表,這個n是多少,根據實際情況而定。以聊天資訊表為例:

我事先建100個這樣的表,message_00,message_01,message_02……….message_98,message_99.然後根據使用者的id來判斷這個使用者的聊天資訊放到哪張表裡面,你可以用hash的方式來獲得,可以用求餘的方式來獲得,方法很多,各人想各人的吧。下面用hash的方法來獲得表名:

檢視複製列印?

<?php

function get_hash_table($table,$userid) else

return $table."_".$hash;

}echo get_hash_table('message','user18991');

//結果為message_10

echo get_hash_table('message','user34523');

//結果為message_13

?>

<?php function get_hash_table($table,$userid) else

return $table."_".$hash; }

echo get_hash_table('message','user18991');

//結果為message_10 echo get_hash_table('message','user34523');

//結果為message_13 ?>

說明一下,上面的這個方法,告訴我們user18991這個使用者的訊息都記錄在message_10這張表裡,user34523這個使用者的訊息都記錄在message_13這張表裡,讀取的時候,只要從各自的表中讀取就行了。

優點:避免一張表出現幾百萬條資料,縮短了一條sql的執行時間

缺點:當一種規則確定時,打破這條規則會很麻煩,上面的例子中我用的hash演算法是crc32,如果我現在不想用這個演算法了,改用md5後,會使同乙個使用者的訊息被儲存到不同的表中,這樣資料亂套了。擴充套件性很差。

3,利用merge儲存引擎來實現分表

我覺得這種方法比較適合,那些沒有事先考慮,而已經出現了得,資料查詢慢的情況。這個時候如果要把已有的大資料量表分開比較痛苦,最痛苦的事就是改**,因為程式裡面的sql語句已經寫好了,現在一張表要分成幾十張表,甚至上百張表,這樣sql 語句是不是要重寫呢?舉個例子,我很喜歡舉子

mysql>show engines;的時候你會發現mrg_myisam其實就是merge。

檢視複製列印?

mysql> create table if not exists `user1` (

->

`id` int(11) not null auto_increment,

->

`name` varchar(50) default null,

->

`***` int(1) not null default '0',

->

primary key (`id`)

-> ) engine=myisam

default charset=utf8 auto_increment=1 ;

query ok, 0 rows affected (0.05 sec)

mysql> create table if not exists `user2` (

->

`id` int(11) not null auto_increment,

->

`name` varchar(50) default null,

->

`***` int(1) not null default '0',

->

primary key (`id`)

-> ) engine=myisam

default charset=utf8 auto_increment=1 ;

query ok, 0 rows affected (0.01 sec)

mysql> insert into `user1` (`name`, `***`) values('張映', 0);

query ok, 1 row affected (0.00 sec)

mysql> insert into `user2` (`name`, `***`) values('tank', 1);

query ok, 1 row affected (0.00 sec)

mysql> create table if not exists `alluser` (

->

`id` int(11) not null auto_increment,

->

`name` varchar(50) default null,

->

`***` int(1) not null default '0',

->

index(id)

-> ) type=merge union=(user1,user2) insert_method=last auto_increment=1 ;

query ok, 0 rows affected, 1 warning (0.00 sec)

mysql> select id,name,*** from alluser;

+----+--------+-----+

| id | name

| *** |

+----+--------+-----+

|1 | 張映 |

0 ||

1 | tank

|1 |

+----+--------+-----+

2 rows in set (0.00 sec)

mysql> insert into `alluser` (`name`, `***`) values('tank2', 0);

query ok, 1 row affected (0.00 sec)

mysql> select id,name,*** from user2

-> ;

+----+-------+-----+

| id | name

| *** |

+----+-------+-----+

|1 | tank

|1 |

|2 | tank2 |

0 |+----+-------+-----+

2 rows in set (0.00 sec)

mysql> create table if not exists `user1` (

->

`id` int(11) not null auto_increment,

->

`name` varchar(50) default null,

->

`***` int(1) not null default '0',

->

primary key (`id`)

-> ) engine=myisam

default charset=utf8 auto_increment=1 ; query ok, 0 rows affected (0.05 sec)

mysql> create table if not exists `user2` (

->

`id` int(11) not null auto_increment,

->

`name` varchar(50) default null,

->

`***` int(1) not null default '0',

mysql 資料庫分表的一種方法

mysql資料庫分表有物理分庫,mysql自動分庫,分割槽mysql也是有的 這裡說的就是物理分庫,首先寫乙個儲存過程 begin declare i varchar 50 declare var1 varchar 50 declare message varchar 50 default mess...

新建Oracle資料庫的3種方法

以下是對新建oracle資料庫的三種方法進行了詳細的分析介紹,需要的朋友可以過來參考下 1.通過執行oracle database configuration assistant 建立 配置 或刪除資料庫 也可在命令列下輸入dbca 2.用命令列的方式建立資料庫 3.通過執行自定義的批處理指令碼 或...

Mysql資料庫簡易備份4種方法

第一種 直接拷貝資料庫。要求 1 資料庫型別必須為myisam型別 2 在拷貝的過程中不要讓使用者執行諸如update,delete,insert這樣的更新語句。下面給出具體例項 如 我的資料庫是安裝在 usr local mysql目錄下,資料目錄是 usr local mysql data,要備...