被呼叫時返回none
在建立專案時，在middlewares.py檔案中生成的爬蟲中介軟體，其中幾個函式如下：
1、process_spider_input(response, spider)
當response傳給spider的解析函式前呼叫，返回none或異常
2、process_spider_output(response, result, spider)
當spider解析函式處理完response時該函式被呼叫，接受response和對應解析出的result
3、process_spider_exception(response, exception, spider)
當1函式返回異常時被呼叫，回none或可迭代物件的request、dict、item，如果返回none將繼續被其他spider中介軟體的異常處理。
使用第三方user-agent庫（fake-useragent）實現隨機更換
1、行命令pip install fake-user-agent
2、在middlewares.py中匯入fake-useragnet庫，編寫中介軟體
在setting.py檔案中將robotstxt_obey = true 改為robotstxt_obey = false即不遵守robots協議
並啟用**********_middlewares
scrapy中介軟體
方法 process request self,request,spider 返回為none 繼續請求 返回為request物件，把request物件交給排程器，進行後續請求 返回為response物件，不再請求，response交給引擎然後給爬蟲 這個方法可以給request請求增加 ip，coo...
Scrapy詳解之中介軟體（Middleware）
概述 每當scrapy進行乙個request請求時，這個方法被呼叫。通常它可以返回 1.none 2.response物件 3.request物件 4.丟擲ignorerequest物件 通常返回none較常見，它會繼續執行爬蟲下去。其他返回情況參考這裡 user agent中介軟體 from fa...
scrapy中介軟體自定義
二 定義動態proxy中介軟體 在middlewares.py檔案中，編寫useragentmiddlerware中介軟體，可以隨機動態設定user agent from fake useragent import useragent 自定義動態user agent中介軟體 class userag...