海量資料處理

需求：

在兩個不同的資料庫例項裡的兩張不同的表中找出近5個月內，account_id欄位下相同的資料。

一張表數量級百萬行，另一張表千萬行。

分析：

因為是在不同例項下，所以不能直接在資料庫裡操作，要通過指令碼來，本次使用php。

要先從兩張表裡把所需要的資料查詢出來，這裡要用原生的pdo，利用query，為什麼呢要用原生的pdo呢，因為一些框架封裝好的pdo是把資料都存放在陣列中，但是海量的資料存在陣列中，肯定是不行的。而用query，返回的資料集是 pdostatement型別，這是迭代器的介面實現。其中還要注意，要取消掉快取結果集，$pdo->setattribute(pdo::mysql_attr_use_buffered_query, false)。這樣能大大提高效率。以上說的可以參考兩個文章：

php處理大資料

php匯出mysql大資料

有個問題，query只能執行一條sql，執行完要將其取出來或是釋放資源，這樣的話，解決方法是開兩個pdo。

將返回的資料集通過演算法分到不同的檔案下。

ini_set('max_execution_time', '0');
$sqlweb = "select 語句";
$pdoweb = new \pdo('mysql:host=*;dbname=*', '*', '*');
$pdoweb->setattribute(\pdo::mysql_attr_use_buffered_query, false);
$rowsweb = $pdoweb->query($sqlweb);
foreach ($rowsweb
as$row)

這邊用的檔案劃分演算法是：通過計算每個資料的每個字元的ascii碼的大小+5000，然後%1000，最終結果覺得被劃分到哪個檔案。

`public function myhash($key)

return $asciitotal % 1000;

}`最後將檔案中的資料通過迭代器來進行遍歷。

public
function
fileweball
($file)
while(($line=fgets($handle))!==false)
if (!feof($handle)) 
fclose($handle);
return ;
}

這裡寫**片

public
function
filehandle
() }}
}}
}

這裡寫鏈結內容

php maximum execution time

query 怎麼不耗記憶體

海量資料處理

海量資料處理

海量資料處理

海量資料處理

相關推薦