1.windows7下：
步驟參照：
和：前面所有都很順利，
但在最後一步安裝最新版scrapy1.0.3的過程中出錯，於是換用scrapy0.24，可以成功安裝。
2.ubuntu15.04下：
步驟參考：
安裝scrapy1.0.3成功。
3.執行scrapy之後，出現pyopenssl未安裝的情況。（但實際上我已經安裝了，而且搭建框架之後也顯示成功了，重新安裝openssl之後還是沒有效果）
於是打算解除安裝之後重新安裝。
但是解除安裝過程中出現問題：
there is a problem with this windows installer package.a programe run as part of the setup
did not finish as expected.contact your support personnel or package vendor.
先用原來安裝的檔案修復之後，再重新解除安裝，成功！
4.然後重新安裝，但是安裝到openssl的時候還是有錯：
cd 到路徑下，python setup.py install
下完安裝，確實如下錯誤。。。
然後換種命令安裝pip install pyopenssl-0.15.1-py2.py3-none-any.whl
測試成功！
同樣的方法安裝scrapy1.0.3
安裝成功！
scrapy的使用（學習記錄）
scrapy是乙個爬取結構化資料的框架，它不是乙個簡單的模組，它裡面有很多針對爬蟲需要而開發的模組。結構化資料，一般有json檔案，xml檔案。如果想要將json檔案，轉化成python型別使用json.load 如果想將提取xml檔案裡面的內容，比如文字內容，一般用xpath來提取。respons...
scrapy遇到的坑
1.有時候我們爬取資料跑了半天，突然報錯了，例如網路中斷，我們想繼續爬取，不需程式從頭開始爬取，可以採取下面的方案 要啟用乙個爬蟲的持久化，執行以下命令 scrapy crawl somespider s jobdir crawls somespider 1然後，你就能在任何時候安全地停止爬蟲 按c...
Scrapy框架學習 搭建開發環境
sudo pip3 install scrapy 測試是否安裝成功 h1標題 h1 scrapy.field h2標題 h2 scrapy.field spiders myspider.py usr bin env python coding utf 8 import scrapy from mys...