scrapy官方文件
本人ubutun系統只有python3，無python2（可以了解python。 2020不在更新python兩年前的了解，目前不知道），可以跳過安裝python3
一、安裝以下依賴項
sudo
apt-get
install python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
三、配置環境變數1、更新path變數以宣告應在系統軟體包之前使用自製軟體軟體包（使用者登入才執行環境變數）
echo
"export path=/usr/local/bin:/usr/local/sbin:$path"
>> ~/.bashrc
source ~/.bashrc四、檢視scrapy版本
scrapy環境搭建
在spiders目錄下建立 doubanspider.py 檔案，內容如下 coding utf 8 import scrapy class firstspider scrapy.spider name douban 爬蟲的名字，執行時候使用 start urls 需要爬去的url def pars...
Scrapy環境搭建
win7系統下搭建scrapy環境 以我電腦f盤建立的venv為例 1.cd venv 2.cd scripts 3.activte deactivate 進入 退出 虛擬環境 4.cd 5.pip install c users administrator desktop twisted 18.4...
Scrapy環境搭建
建立乙個新的專案 scrapy startproject 專案名 2.生成爬蟲 scrapy genspider 檔名 3.執行 crawl scrapy crawl 爬蟲名稱 scrapy crawl 爬蟲名 o zufang.json o output scrapy crawl 爬蟲名 o zu...