資料歸檔，冷熱資料分離

一.關於tokudb引擎

1.tokudb引擎特點

1.高壓縮比，高寫入效能

4.支援索引同步

2.tokudb安裝步驟

1.yum install jemalloc -y

2.vim /etc/my.cnf #
新增如下
[mysqld_safe]
malloc-lib=/usr/lib64/libjemalloc.so.1
3.echo never >/sys/kernel/mm/transparent_hugepage/enabled 
echo never >/sys/kernel/mm/transparent_hugepage/defrag
4.yum install percona-server-tokudb-57.x86_64
5.啟動引擎
ps-admin --enable -uroot -p
6.重啟mysql服務
service mysql restart
7.ps-admin --enable -uroot -p
8.檢視引擎 
執行mysql -u root -p，登入mysql，執行show engines

3.建立測試表

1.在源資料庫建立表

create table t_purchase (
id int unsigned primary key,
purchase_price decimal ( 10, 2) not null,
purchase_num int unsigned not null,
purchase_sum decimal ( 10, 2) not null,
purchase_buyer int unsigned not null,
purchase_date timestamp not null default current_timestamp,
company_id int unsigned not null,
goods_id int unsigned not null,
key idx_company_id ( company_id ),
key idx_goods_id ( goods_id ) 
);2.在歸檔資料庫中建立歸檔表

id int unsigned primary key,

purchase_price decimal ( 10, 2 ) not null,

purchase_num int unsigned not null,

purchase_sum decimal ( 10, 2 ) not null,

purchase_buyer int unsigned not null,

purchase_date timestamp not null default current_timestamp,

company_id int unsigned not null,

goods_id int unsigned not null,

key idx_company_id ( company_id ),

key idx_goods_id ( goods_id )

) engine = tokudb;

4.安裝pt-archiver

yum install percona-toolkit -y

pt-archiver --version
pt-archiver --help

5.歸檔資料

pt-archiver --source h=192.168.192.135,p=3306,u=root,p=123456,d=test1,t=t_purchase 

--dest h=192.168.192.129,p=3306,u=admin,p=abc_123456,d=test1,t=t_purchase_201807 
--no-check-charset 
--where '
purchase_date<"2019-02-01 0:0:0"
'--progress 5000 --bulk-delete --bulk-insert --limit=1000 --statistics 
#執行完成後，源資料庫的冷資料就歸檔到歸檔資料庫中了

6.總結

1.使用tokudb引擎儲存歸檔資料，擁有告訴寫入特性

2.使用雙機熱備方案搭建歸檔資料庫，具備高可用性
3.使用pt-archiver執行資料歸檔，簡便易行

mysql冷熱分離的技術 資料歸檔，冷熱資料分離

一.關於tokudb引擎 1.tokudb引擎特點 2.tokudb安裝步驟 1.yum install jemalloc y 2.vim etc my.cnf 新增如下 mysqld safe malloc lib usr lib64 libjemalloc.so.1 3.echo never s...

冷資料，熱資料，溫資料，冷熱分離？

溫資料是非即時的狀態和行為資料，也可以簡單理解為把熱資料和冷資料混在一起就成了溫資料。如果整體資料量不大，也可以不區分溫資料和熱資料。冷資料是指離線類不經常訪問的資料，用於災難恢復的備份或者因為要遵守法律規定必須保留一段時間，比如企業備份資料 業務與操作日誌資料 話單與統計資料。通常會儲存在效能較低...

ES 冷熱分離

1.安裝node cd usr local src wget tar zxvf node v4.4.7 linux x64.tar.gz c usr local mv usr local node v4.4.7 linux x64 usr local node cat etc profile eof...