最近開始研究scrapy框架的使用，第一步就是通過命令建立專案後生成的各個元件，首先要了解的就是它們的作用以及是如何進行運作的。
一、工作流程二、各元件作用
1、items是將要裝載抓取的資料的容器，它工作方式像python裡面的字典，但它提供更多的保護，比如對未定義的字段填充以防止拼寫錯誤。它通過建立乙個scrapy.item.item類來宣告，定義它的屬性為scrpiy.item.field物件，就像是乙個物件關係對映(orm).
2、spider是使用者編寫的類，用於從乙個域（或域組）中抓取資訊。
要建立乙個spider，你必須為scrapy.spider.basespider建立乙個子類，並確定三個主要的、強制的屬性：
name：爬蟲的識別名，它必須是唯一的，在不同的爬蟲中你必須定義不同的名字.
parse()：爬蟲的方法，呼叫時候傳入從每乙個url傳回的response物件作為引數，response將會是parse方法的唯一的乙個引數,
這個方法負責解析返回的資料、匹配抓取的資料(解析為item)並跟蹤更多的url。
3、pipelines.py: 專案管道檔案,用於提取items內容
4、settings.py: 專案配置檔案
**：
scrapy框架元件
scrapy是乙個爬蟲框架，有著非常健全的管理系統，重要的是它支援分布式。3.爬蟲 spiders 處理獲取到的所有responses，從其中分析提取item中標記好的資料，並將還需要進一步處理的url提交給引擎。7.爬蟲中介軟體 spider middewares 負責對引擎和爬蟲之間的通訊進行處...
Scrapy框架介紹
scrapy不是乙個函式功能庫，而是乙個 爬蟲框架 什麼是爬蟲框架？爬蟲框架是實現爬蟲功能的乙個軟體結構和功能元件集合。爬蟲框架是乙個半成品，能夠幫助使用者實現專業網路爬蟲 引擎負責控制資料流在系統中所有元件中流動，並在相應動作發生時觸發事件。詳細內容檢視下面的資料流 data flow 部分此元件...
scrapy爬蟲介紹
當時我是在anaconda中建立乙個虛擬環境spider 首先安裝anaconda這個包 使用 conda create n your env name python x.x 2.7 3.6等 命令建立python版本為x.x 名字為your env name的虛擬環境。your env name檔...