MySQL隨機抽樣

最近由於需要大概研究了一下mysql的隨機抽取實現方法。舉個例子，要從tablename表中隨機提取一條記錄，大家一般的寫法就是：select * from tablename order by rand() limit 1。

但是，後來我查了一下mysql的官方手冊，裡面針對rand()的提示大概意思就是，在order by從句裡面不能使用rand()函式，因為這樣會導致資料列被多次掃瞄。但是在mysql 3.23版本中，仍然可以通過order by rand()來實現隨機。

但是真正測試一下才發現這樣效率非常低。乙個15萬餘條的庫，查詢5條資料，居然要8秒以上。檢視官方手冊，也說rand()放在order by 子句中會被執行多次，自然效率及很低。

you cannot use a column with rand() values in an order by clause, because order by would evaluate the column multiple times.

select *

from `table` as t1 join (select round(rand() * (select max(id) from `table`)) as id) as t2

where t1.id >= t2.id

order by t1.id asc limit 5;

下面的語句採用的是join，mysql的論壇上有人使用

select *

from `table`

where id >= (select floor( max(id) * rand()) from `table` )

order by id limit 1;

於是我把語句改寫了一下。

select * from `table`

where id >= (select floor(rand() * (select max(id) from `table`))) 

order by id limit 1;

最後，再把語句完善一下，加上min(id)的判斷。我在最開始測試的時候，就是因為沒有加上min(id)的判斷，結果有一半的時間總是查詢到表中的前面幾行。

完整查詢語句是：

select * from `table`

where id >= (select floor( rand() * ((select max(id) from `table`)-(select min(id) from `table`)) + (select min(id) from `table`))) 

order by id limit 1;

select *

from `table` as t1 join (select round(rand() * ((select max(id) from `table`)-(select min(id) from `table`))+(select min(id) from `table`)) as id) as t2

where t1.id >= t2.id

order by t1.id limit 1;

前者花費時間 0.147433 秒

後者花費時間 0.015130 秒

看來採用join的語法比直接在where中使用函式效率還要高很多。

mysql order by索引優化：

mysql order by語法：

mysql order by rand()效率：

mysql order by用法：

mR 隨機抽樣

1.問題由來 google曾經有一道非常經典的面試題 給你乙個長度為n的鍊錶。n很大，但你不知道n有多大。你的任務是從這n個元素中隨機取出k個元素。你只能遍歷這個鍊錶一次。你的演算法必須保證取出的元素恰好有k個，且它們是完全隨機的 出現概率均等 這道題的解法非常多，網上討論也非常熱烈。本文要討論的是...

R隨機抽樣

x為總體向量 n為樣本容量 replace f表示無放回抽樣 replace t表示放回抽樣 prob可以設定不等概率抽樣 sample x,n,replace f,prob null 用r模擬擲硬幣 h表示正面 t表示反面 有放回抽樣 sample c h t 10,replace t 1 h t...

hive 隨機抽樣

1.random sampling syntax select from distribute by rand sort by rand limit 2.bucket table sampling 該方式是最佳化取樣bucket表。rand 函式也可以用來取樣整行。如果取樣列同時使用了cluster...