php利用引數,分時處理大量資料

2021-06-01 18:46:23 字數 444 閱讀 5046

最新公司需要將乙個mssql的資料轉換到新的mysql資料庫之上

利用intelligent converters方便的轉換成mysql資料

因為資料格式和以前的不太相同,所以再插入新資料之前需要處理一下

無奈哥不也不會寫什麼程式方便的進行,只能是在php上寫了...

寫了一大堆之後,把能想到的錯誤處理都加了進去

結果測試的時候,很是尷尬,nginx因為長時間執行乙個指令碼,報錯了,因為我所有的轉換都寫在了乙個php檔案裡面,裡面的資料量也挺大,得會兒時間...

本來是想改一下伺服器配置,但是想了一下,這樣不太好,影響伺服器執行的穩定

和單位之前的「老李」討論了一下別的事情,然後就說到轉換資料庫這個事情上了

他一句話點撥了哥的神經,利用引數分時處理

ok,這下資料量小了,同時也知道現在轉換到哪個使用者了

明天是星期天,yeah!

php 利用flock來處理併發資料處理

利用flock 函式對檔案進行加鎖 排它鎖 實現併發按序進行。flock file,lock,block 有三個引數。阻塞模式 後面的程序會一直等待前面的程序執行完畢 product id 1 獲取產品id file fopen lock lock product id.txt w 加鎖 if fl...

PHP處理大量資料不超出記憶體限制的問題

例如從兩張表中分別查出上百萬條資料,現在需要把這些資料組裝在一起然後在插入到另外一張表中,請問除了使用陣列組裝外還能怎麼處理,如果使用陣列的話怎麼才能保證不超出記憶體限制。mysql query函式查詢的方式是查詢出全部結果後快取到記憶體中,這樣就會出現超記憶體的現象,使用另外乙個函式mysql u...

PHP處理大量資料不超出記憶體限制的問題

例如從兩張表中分別查出上百萬條資料,現在需要把這些資料組裝在一起然後在插入到另外一張表中,請問除了使用陣列組裝外還能怎麼處理,如果使用陣列的話怎麼才能保證不超出記憶體限制。mysql query函式查詢的方式是查詢出全部結果後快取到記憶體中,這樣就會出現超記憶體的現象,使用另外乙個函式mysql u...