邏輯 物理(增量) 兩套MySQL備份指令碼

2021-07-23 19:46:22 字數 4139 閱讀 8370

資料備份其重要性無需多言,再細想一步,我們至少需要兩種備份:一種邏輯備份(mysqldump生成sql檔案);一種物理備份(xtrabackup可很好完成)。邏輯備份在出問題時能提供更細粒度的恢復和對比;物理備份在整庫範圍的資料恢復或者增加從庫方面有著更高的效率。

首先看下邏輯備份指令碼,比較簡單

#!/bin/sh

###每天執行一次

###定義使用者 密碼 備份目錄等資訊

user=mysqldump

psd=mysqldump

backup_base=/data/mysql_backup

date=`date +%y%m%d`

old_date=`date +%y%m%d -d -30days` ###儲存的天數

###獲取庫名,排除不需要備份的庫

for db in `mysql -u$user -p$psd

-s -n -e

"show databases"|grep -v -e "(test|percona|information_schema|performance_schema)"`

do###建立備份目錄

if [ ! -d

$backup_base/$db ];then

mkdir $backup_base/$db

ficd

$backup_base/$db

chattr -i ./*

rm -f

$old_date.sql* &>/dev/null #刪除30天以前的

mysqldump -u$user -p$psd --events --routines $db |gzip > $date.sql.gz ###備份&壓縮

chattr +i ./* ###這裡加了個防誤刪的屬性

done

接下來看基於xtrabackup的物理(整庫)備份指令碼。相比上面的指令碼,這個就有意思點兒了(在生成備份的時候遵循了乙個規則,然後在恢復指令碼裡加邏輯判斷實現任意時候都能一鍵恢復)整套功能需要 三個指令碼innobackupex_all.shinnobackupex_increment.shinnobackupex_restore.sh我們知道xtrabackup可以第一次備份全量資料,之後設定增量備份。linux crontab以數字0-6表示」週日」-「週六」。所以,我以一周為週期:週日進行全備,存放於0目錄;周一至週六增備,存放於1-6目錄;下次週日清空目錄重新全備。

上面以0-6這樣的目錄名存放備份資料,是為了讓恢復指令碼innobackupex_restore.sh處理起來更方便。無論在週幾執行恢復指令碼,都能正確的執行xtrabackup的恢復過程。

依percona官方文件。xtrabackup備份至少需要以下許可權:grant reload,super, lock tables,replication client,create tablespace on \*.\* to 'xtrabackup'@'localhost' identified by ***x

計畫任務設定如下

全備指令碼 innobackupex_all.sh

#!/bin/sh

###每週日凌晨4點,執行全量備份

base_dir=/ljk/data

rm -rf $base_dir/* 2>> $base_dir/all.log ###清空base_dir,執行全備

###備份並將日誌記錄於base_dir下的all.log

/usr/bin/innobackupex --user=xtrabackup --password=xtrabackup $base_dir

2>> $base_dir/all.log

cd$base_dir

#將以'當前時間命名的全備目錄'重新命名為'0'

mv 20* 0

2>> $base_dir/all.log

增備指令碼innobackupex_increment.sh

#!/bin/sh

###周1--周6凌晨4點 增量備份

base_dir=/ljk/data

today=`date +%u`

yesterday=`expr $today - 1`

echo

-e"\n***********************************\n" >> $base_dir/increment.log ###增備日誌記錄於$base_dir/increment.log

/usr/bin/innobackupex --user=xtrabackup --password=xtrabackup --incremental $base_dir --incremental-basedir=$base_dir/$yesterday

2>> $base_dir/increment.log

cd$base_dir

#重新命名備份檔案,以0 1 2 3 4 5 6 代表週日到 週六

mv 20* $today

2>> $base_dir/increment.log

恢復指令碼innobackupex_restore.sh

#!/bin/sh

function check

base_dir=/ljk/data

defaults=

if [[ $1 =~ ^--defaults-file=.+ ]] && [ -f $(echo

$1|awk -f'='

'') ];then

defaults="$1"

fibackup_dir=`ls -l

$base_dir|grep -e

"^d.*"|awk ''`

echo

-e"the backup dir is:\n$backup_dir \n"

sleep 1

if [ "$backup_dir" != '0' ];then

###增量恢復過程

cd$base_dir

echo

-e"------ 準備階段 0 ------\n"

sleep 1

check "準備階段 0";

###執行除去 0 和 最後乙個目錄 之外的其他目錄的恢復準備

dir_num=`ls -l

$base_dir|grep -e

"^d.*"|wc -l` #取出有幾個備份目錄

for i in `seq 1 $(($dir_num - 2))`;do

echo

-e"------ 準備階段 $i ------ \n"

sleep 1

check "準備階段 $i";

done

###最後乙個增量備份

echo

-e"------ 準備階段 $(($dir_num - 1)) ------ \n"

sleep 1

check "準備階段 $(($dir_num - 1))";

fi###以上步驟將所有增量備份中記錄的變化應用到了最初的全量備份中

echo

-e"------ 應用所有變化到$base_dir/0 ------\n"

check "應用所有變化到$base_dir/0";

###將資料考回資料目錄

echo

-e"------ 將處理好的資料考回至資料目錄 ------\n"

/usr/bin/innobackupex $defaults --copy-back $base_dir/0

check "copy-back";

物理備份目錄結構截圖

高階查詢與兩套分頁總結

一 高階查詢 sql server子查詢可以分為 相關子查詢 和 巢狀子查詢 前提,假設books表如下 巢狀子查詢的執行不依賴與外部的查詢。執行過程 1 執行子查詢,其結果不被顯示,而是傳遞給外部查詢,作為外部查詢的條件使用。2 執行外部查詢,並顯示整個結果。巢狀子查詢一般可以分為 返回 單值的子...

Oracle比較相似結構的兩套表

出於某些原因,需要建立幾十張表,使用del 開頭,用於資料清理時記錄所清理的資料。比如表table1就對應del table1,但不幸的是,pdm檔案與正式庫表存在不一致,造成insert into del table1 select from table1未能正確插入,因此,有必要比較del 開頭...

ubuntu下管理網路的兩套方案

linux系統裡面有兩套管理網路連線的方案 1 etc network inte ces etc init.d networking 2 etc networkmanager 這兩套方案是衝突的,不能同時共存 第一套方案適應於沒有x的環境,如 伺服器,或者那些完全不需要改動連線的場合。第二套方案使用...