環境：ubuntu14.04 python2.7
資料：1，python2.7，pip，setuptools都是已經安裝完成
2，lxml和openssl
sudo apt-get install python-openssl
sudo apt-get install python-lxml
都顯示已經是最新版本
3，scrapy
文件中說明：「debian官方源提供的 python-scrapy 是乙個非常老的版本且不再獲得scrapy團隊支援」
而資料提供的簡單方法：
$ sudo pip install scrapy
（1）把scrapy簽名的gpg金鑰新增到apt的鑰匙環中:
$ sudo apt-key adv --keyserver hkp: --recv 627220e7
（2）執行如下命令，建立 /etc/apt/sources.list.d/scrapy.list 檔案:
$ echo 'deb scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
（3）更新包列表並安裝 scrapy-0.25:
$ sudo apt-get update && sudo apt-get install scrapy-0.25
注釋：如果你要公升級scrapy，請重複步驟3
因為scrapy-0.25版本低，所以我更新為更高版本的：
$ sudo apt-get install scrapy
4，執行出錯：pkg_resources.distributionnotfound: service-identity
經查，解決方法兩個（就是安裝service-identity），如下：
$ sudo pip install service_identity
$ sudo easy_install service_identity
我用的第二個
5，檢視scrapy版本：
$ scrapy version -v
scrapy : 1.0.5.post4+g4b324a8
lxml : 3.3.3.0
libxml2 : 2.9.1
twisted : 13.2.0
python : 2.7.6 (default, jun 22 2015, 17:58:13) - [gcc 4.8.2]
pyopenssl : 0.13 (openssl 1.0.1f 6 jan 2014)
platform : linux-3.13.0-24-generic-x86_64-with-ubuntu-14.04-trusty
Scrapy學習筆記（1）
最近總被房產中介騷擾，因此打算做一件事情 找乙個爬蟲把自己區域內所有中介的手機號爬下來，統統匯入手機黑名單。經過簡單比較，感覺scrapy挺小巧的，因此選擇了它。安裝 windows環境 scrapy的安裝還是有一點麻煩，因為它本身依賴的專案足有5個之多。不過你如果正確安裝了vs2008的c 編譯器...
scrapy 安裝 安裝scrapy時出錯
python3環境下安裝scrapy 環境 win7,win10 python 3.5.2 1.首先開啟anaconda prompt 執行命令 pip install scrapy 若未出錯，表示安裝成功，鍵入以下命令測試即可 python 進入python環境 再鍵入 import scrapy...
scrapy系統學習 1 概要
一.安裝scrapy mysql mysqldb sudo apt key adv keyserver hkp recv 627220e7 echo deb scrapy main sudo tee etc apt sources.list.d scrapy.list sudo apt get up...