1. 選擇合適的資料夾，在pycharm中的terminal中輸入：scrapy startproject spider，建立爬蟲專案spider。
2. 執行命令後，得到乙個名為spider的資料夾，檔案結構如下：
3. 進入專案根目錄：cd spider
4. 建立爬蟲檔案agri.py：scrapy genspider agri agri.cn
5. 執行該命令後，得到爬蟲的起始url為agri.cn，爬蟲檔案內容如下：
6. 爬蟲專案內部檔案如下：
spiders：管理多個爬蟲檔案的目錄
items.py：用於宣告資料模型，儲存資料
middlewares.py：爬蟲中介軟體，可以對請求和響應進行處理
pipelines.py：管道，作用是將每乙個iteam物件進行儲存，mysql或mongodb。
settings.py：配置檔案
scrapy.cfg：部署爬蟲專案
建立scrapy專案
1.windows r開啟 cmd命令列工具，cd desktop 進入到桌面目錄 2.輸入建立專案命令 scrapy startproject 專案名 3.cd 到 專案目錄下 cd專案名 4.執行建立爬蟲的命令 scrapy genspider 爬蟲名 爬蟲起始 5.使用pycharm開啟專案，...
scrapy的安裝，scrapy建立專案
簡要 scrapy的安裝 1 pip install scrapy i 國內源 一步到位 2 報錯1 building twisted.test.raiser extension error microsoft visual c 14.0 is required.get it with micros...
Scrapy（三）建立專案
建立專案是爬取內容的第一步，之前已經講過，scrapy通過scrapy startproject命令來在當前目錄下建立乙個新的專案。下面我們建立乙個爬取 文章資訊的專案 scrapy startproject cnblog 其中cnblog是你的專案的名字，可以自己定義。其目錄結構如下 cnblog...