1）先宣告，我也是學習，只管操作，不管原理
2）進入c:\working\acticlespider 我們今後的所有scrapy工程都在其下面
3）workon scrapy_spider 在c:\working\acticlespider 下進入虛擬環境
4）安裝scrapy pip install -i scrapy >2.txt 使用豆瓣源安裝，不過你應該回報twisted錯誤
之所以 >2.txt，是把安裝日誌輸出到2.txt下，我們好看問題
6)同樣，需要進入虛擬環境scrapy_spider 進行twisted的安裝 pip install twisted-20.3.0-cp38-cp38-win_amd64.whl
7）再次安裝scrapy scrapy pip install -i scrapy >2.txt 應該會安裝成功
8）在workon scrapy_spider 在c:\working\acticlespider 這個下建立scrapy工程
scrapy startproject scrspider 這樣就建立了乙個scrapy工程在c:\working\acticlespider下面
9）起始如果不熟悉，可以使用vmware多裝幾個虛擬機器，在它裡面開發
Eclipse配置scrapy工程
最近畢業設計選的是python網路爬蟲，python現成的爬蟲模組有很多，scrapy,bs4等等，但是我參考的教科書上面說scrapy參考文獻較多，也比較簡單，便決定用這個模組來做爬蟲。書中的工程是用linux終端來做爬蟲，但是本人linux小白，而且更加傾向於用windows平台下的eclips...
建立scrapy專案
1.windows r開啟 cmd命令列工具，cd desktop 進入到桌面目錄 2.輸入建立專案命令 scrapy startproject 專案名 3.cd 到 專案目錄下 cd專案名 4.執行建立爬蟲的命令 scrapy genspider 爬蟲名 爬蟲起始 5.使用pycharm開啟專案，...
建立scrapy專案
1.選擇合適的資料夾，在pycharm中的terminal中輸入 scrapy startproject spider，建立爬蟲專案spider。2.執行命令後，得到乙個名為spider的資料夾，檔案結構如下 3.進入專案根目錄 cd spider 4.建立爬蟲檔案agri.py scrapy ge...