Mac python 搭建scrapy爬蟲框架

2021-08-26 20:48:00 字數 417 閱讀 7149

1、在mac上安裝好python3,以及相關元件

2、進入python3的虛擬環境

workon env3.7

3、安裝scrapy

pip install scrapy

4、建立乙個scrapy專案

4.1選擇路徑專案路徑 cd /users/panstark/pycharmprojects

4.2建立乙個專案 scrapy startproject articlespider

5、生成訪問固定**的程式設計檔案

5.1進入專案中  /users/panstark/pycharmprojects/articlespider

5.2生成檔案  scrapy genspider jobbole blog.jobbole.com

生成好了這個檔案,下面就可以開發了。

windows系統下搭建爬蟲框架scrapy

摘要 本機環境為windows 7,64位系統,python 2.7 裝成了32位的了 1.安裝twisted 安裝完成後,你會在c python27 lib site packages目錄下看到twisted資料夾 2.安裝zope.inte ce 很多版本,根據windows位數,python版...

Mac Python路徑總結

mac python路徑總結 mac 下python 可以多版本的並存,並且python的目錄也有好幾個,不過總體來說,mac 自帶的有python 還是比較方便的 mac 系統自帶的又python 可能python版本需要更新,所以目錄結構要了解下 系統自帶的python的路徑 在mac 系統自帶...

mac python 環境配置

建立環境 conda create name py27 python 2.7 啟用環境 source activate py27 退出啟用 source deactivate 刪除乙個已有的環境 conda remove name py27 all 檢視已有的環境 conda info e 安裝sc...