engine(1) 控制所有模組之間的資料流(2)根據條件觸發事件
不需要使用者修改
**********
scheduler對所有爬取請求進行排程管理不需要使用者修改
********** middleware目的：事實engine、scheduler和**********之間進行使用者可配置的控制功能：修改、丟棄、新增請求或響應
使用者可以編寫配置編碼
spider(1)解析**********返回的響應(response)(2)產生爬取項(scraped item)
(3)產生額外的爬取請求(request)
需要使用者編寫配置**
item pipelines(1)以流水線方式處理spider產生的爬取項(2)由一組操作順序組成，類似流水線，每個操作是乙個item pipeline型別
(3)可能操作包括：清理、檢驗和查重爬取項中的html資料、將資料儲存到資料庫
需要使用者編寫配置**
spider middleware目的：對請求和爬取項的再處理功能：修改、丟棄、新增請求或爬取項
使用者可以編寫配置**
scrapy爬蟲框架（一） scrapy框架簡介
開啟命令列輸入如下命令 pip install scrapy安裝完成後，python會自動將 scrapy命令新增到環境變數中去，這時我們就可以使用 scrapy命令來建立我們的第乙個 scrapy專案了。開啟命令列，輸入如下命令 scrapy startproject yourproject這裡的...
爬蟲 scrapy框架之遞迴解析和post請求
概要 需求 將糗事百科所有頁碼的作者和段子內容資料進行爬取切持久化儲存 需求分析 每乙個頁面對應乙個url，則scrapy工程需要對每乙個頁碼對應的url依次發起請求，然後通過對應的解析方法進行作者和段子內容的解析。實現方案 1.將每乙個頁碼對應的url存放到爬蟲檔案的起始url列表 start u...
scrapy框架之遞迴解析和post請求
一.遞迴爬取解析多頁頁面資料 需求 將糗事百科所有頁碼的作者和段子內容資料進行爬取且持久化儲存 需求分析 每乙個頁面對應乙個url,則scrapy工程需要對乙個頁面對應的url一次發起請求,然後通過對應的解析方法進行作者和段子內容的解析.實現方案 1.將每乙個頁碼對應的url存放到爬蟲檔案的起始ur...