mysql大表更新sql的優化策略

2021-09-19 05:24:36 字數 2277 閱讀 9861

問題sql背景:專案有6個表的要根據pid欄位要寫入對應的brand_id欄位。但是這個其中有兩個表是千萬級別的。我的worker執行之後,線上的mysql主從同步立刻延遲了!執行了乙個多小時之後,居然延遲到了40分鐘,而且只更新了十幾萬行資料。問題sql如下:

-- 根據商品id更新品牌id -->

id="updatebrandidbypid" parameterclass="com.**.chat.worker.domain.param.updatebrandidparam"> update $tablename$ set brand_id = #newbrandid# where pid = #pid#  and brand_id = 0

update>

專案組的mysql專家幫我分析了下,因為pid欄位沒有索引,mysql引擎要逐行掃瞄出與傳入的pid值相等的列,然後更新資料,也就是要掃瞄完1000w+行磁碟資料才能執行完這個sql。因為是update操作,沒有用到索引,於是導致這個sql會占用表鎖,其它的sql只能等這個sql執行完成之後才能開始執行。更嚴重的是,這個千萬級的表裡面有多少個不同的pid,我就要執行多少個這樣的sql。

同事給我的建議的根據id欄位進行sql**層次的橫向分表。每次更新1000行的資料,這樣mysql引擎就不用每次在掃全表了,資料庫壓力是之前的萬分之一。而且id作為主鍵,是有索引的,這個時候占用的是這1000行資料的行級鎖,不會影響其它的資料。有索引能大大優化查詢效能,優化後的sql如下:

-- 根據商品id更新品牌id -->

id="updatebrandidbypid" parameterclass="com.**.chat.worker.domain.param.updatebrandidparam">update $tablename$set brand_id = #newbrandid#where pid = #pid#    and brand_id = 0

andid

between #startnum# and #endnum#update>

僅僅用了id限區間的語句,將乙個千萬級的大表**層次上進行橫向切割。重新上線worker後,mysql主從沒有任何延遲!而且經過監控,短短10分鐘就更新了十幾萬資料,效率是之前的6倍!更重要的是資料庫負載均衡,應用健康執行。

問題sql背景:專案有6個表的要根據pid欄位要寫入對應的brand_id欄位。但是這個其中有兩個表是千萬級別的。我的worker執行之後,線上的mysql主從同步立刻延遲了!執行了乙個多小時之後,居然延遲到了40分鐘,而且只更新了十幾萬行資料。問題sql如下:

-- 根據商品id更新品牌id -->

id="updatebrandidbypid" parameterclass="com.**.chat.worker.domain.param.updatebrandidparam"> update $tablename$ set brand_id = #newbrandid# where pid = #pid#  and brand_id = 0

update>

專案組的mysql專家幫我分析了下,因為pid欄位沒有索引,mysql引擎要逐行掃瞄出與傳入的pid值相等的列,然後更新資料,也就是要掃瞄完1000w+行磁碟資料才能執行完這個sql。因為是update操作,沒有用到索引,於是導致這個sql會占用表鎖,其它的sql只能等這個sql執行完成之後才能開始執行。更嚴重的是,這個千萬級的表裡面有多少個不同的pid,我就要執行多少個這樣的sql。

同事給我的建議的根據id欄位進行sql**層次的橫向分表。每次更新1000行的資料,這樣mysql引擎就不用每次在掃全表了,資料庫壓力是之前的萬分之一。而且id作為主鍵,是有索引的,這個時候占用的是這1000行資料的行級鎖,不會影響其它的資料。有索引能大大優化查詢效能,優化後的sql如下:

-- 根據商品id更新品牌id -->

id="updatebrandidbypid" parameterclass="com.**.chat.worker.domain.param.updatebrandidparam">update $tablename$set brand_id = #newbrandid#where pid = #pid#    and brand_id = 0

andid

between #startnum# and #endnum#update>

僅僅用了id限區間的語句,將乙個千萬級的大表**層次上進行橫向切割。重新上線worker後,mysql主從沒有任何延遲!而且經過監控,短短10分鐘就更新了十幾萬資料,效率是之前的6倍!更重要的是資料庫負載均衡,應用健康執行。

mysql大表更新sql的優化策略

問題sql背景 專案有6個表的要根據pid欄位要寫入對應的brand id欄位。但是這個其中有兩個表是千萬級別的。我的worker執行之後,線上的mysql主從同步立刻延遲了!執行了乙個多小時之後,居然延遲到了40分鐘,而且只更新了十幾萬行資料。問題sql如下 update tablename se...

mysql 大表優化 持續更新

單錶優化 除非單錶資料未來會一直不斷 否則不要一開始就考慮拆分,拆分會帶來邏輯 部署 運維的各種複雜度,一般以整型值為主的表在千萬級以下,字串為主的表在五百萬以下是沒有太大問題的。而事實上很多時候mysql單錶的效能依然有不少優化空間,甚至能正常支撐千萬級以上的資料量 字段 索引 查詢sql 總結 ...

mysql大表更新 大表的update更新

因為業務需要對一張大表的乙個列值進行update更新,表中有資料一億多條,為了更新這一億多條資料,我做了一下嘗試,給各位同學留個前車之鑑。表名 test 列名 name varchar2 50 方法一 直接對大表update,語句 update test set name replace name,...