Pyspider的基本使用

pyspider的基本使用

pyspider的任務流程：

每個pyspider的專案對應乙個python的指令碼，該指令碼中定義了乙個handler類，它有乙個on_start方法。爬取首先呼叫on_start方法生成的最初的抓取任務，然後傳送給scheduler進行排程。

scheduler將抓取任務分發給fetcher進行抓取，fetcher執行並得到響應，隨後將響應傳送給processer。

processer處理響應並提取新的url生成新的抓取任務，然後通過訊息佇列的方式通知scheduler當前抓取任務執**況，並將新生成的抓取任務傳送給scheduler。如果生成了新的提取結果，則將其傳送到訊息佇列等待result worker處理。

scheduler接收到新的抓取任務，然後查詢資料庫，判斷其如果是新的任務或者是需要重試的任務就繼續進行排程，然後將其傳送回fetcher進行抓取。

不但重複以上工作，知道所有的任務都執行完畢，抓取結束。

抓取結束後，程式後**on_finish方法，可以定義後處理過程。