scrapy引擎：控制整個系統的資料處理流程，觸發事務處理流程，負責串聯各個模組
item pipeline（專案管道）：處理由蜘蛛（spiders）從網頁中抽取的資料，主要任務是清洗、驗證、過濾、去重和儲存資料等。
專案（item）：它定義了爬取結果的資料結構，爬取的資料會被賦值成該物件。
通過多個元件的相互協作、不同元件完成工作的不同、元件對非同步處理的支援，scrapy 最大限度地利用了網路頻寬，大大提高了資料爬取和處理的效率。
scrapy 框架和 pyspider 不同，它是通過命令列來建立專案的，**的編寫還是需要 ide。專案建立之後，專案檔案結構如下所示：
在此要將各個檔案的功能描述如下：
items.py：它定義 item 資料結構，所有的 item 的定義都可以放這裡。
pipelines.py：它定義 item pipeline 的實現，所有的 item pipeline 的實現都可以放這裡。
settings.py：它定義專案的全域性配置。
middlewares.py：它定義 spider middlewares 和 ********** middlewares 的實現。
spiders：其內包含乙個個 spider 的實現，每個 spider 都有乙個檔案。
參考文章：
一篇文章教會你理解scrapy網路爬蟲框架的工作原理和資料採集過程
《python 3 網路爬蟲開發實戰》13.1-scrapy框架介紹
Scrapy框架介紹
scrapy不是乙個函式功能庫，而是乙個 爬蟲框架 什麼是爬蟲框架？爬蟲框架是實現爬蟲功能的乙個軟體結構和功能元件集合。爬蟲框架是乙個半成品，能夠幫助使用者實現專業網路爬蟲 引擎負責控制資料流在系統中所有元件中流動，並在相應動作發生時觸發事件。詳細內容檢視下面的資料流 data flow 部分此元件...
scrapy框架介紹
scrapy乙個開源和協作的框架，其最初是為了頁面抓取 更確切來說,網路抓取 所設計的，使用它可以以快速 簡單 可擴充套件的方式從 中提取所需的資料。但目前scrapy的用途十分廣泛，可用於如資料探勘 監測和自動化測試等領域，也可以應用在獲取api所返回的資料 例如 amazon associate...
Scrapy爬蟲框架介紹
scrapy是乙個為了爬取 資料，提取結構性資料而編寫的應用框架。可以應用在包括資料探勘，資訊處理或儲存歷史資料等一系列的程式中。其最初是為了 頁面抓取 更確切來說,網路抓取 所設計的，也可以應用在獲取api所返回的資料 例如 amazon associates web services 或者通用的...