Scrapy 學習筆記 Mac OS 上安裝

2021-08-15 18:01:55 字數 357 閱讀 4379

我的mac os 上的python是2.7的。

先安裝pip

然後,在終端中執行 

python get-pip.py  或者 sudo python get-pip.py
因為我直接安裝 scrapy,報錯:對six庫沒有操作許可權。對我來說靠譜的解決辦法是

通過虛擬環境解決

sudo pip install virtualenv

virtualenv scrapyenv

cd scrapyenv

source bin/activate

pip install scrapy

mac os安裝scrapy框架

因為mac 自帶了python 2.7 所以只需要安裝pip包管理工具安裝scrapy就可以了 sudo easy install pip 然後pip install scrapy 但是報錯了 顯示了依賴satisfied 但是就是裝不了 在網上找了各種資料 都是各種各樣 最後一不小心 sudo r...

Scrapy學習筆記

於網路 上圖就是整個scrapy的架構圖了,主要包括部分作用如下 scrapy執行流程 scrapy engine從spiders獲取初始的url,並將這些request交給scheduler進行排列。scrapy engine從scheduler獲取處理好的request。scrapy engin...

Scrapy學習筆記(三)

抓取 資訊 class youdailispider crawlspider name youdaili allowed domains youdaili.net start urls rules rule linkextractor allow r d d html callback parse ...