安裝scrapy 爬蟲框架

安裝scrapy 爬蟲框架

個人根據學習需要，在windows搭建scrapy爬蟲框架，搭建過程種遇到個別問題，共享出來作為記錄。

1.安裝python 2.7

1.2配置環境變數

以下內容新增到path中

c:\python27\;c:\python27\scripts\;

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

python --version

2.檢查pip

python安裝過程中，會把pip安裝好

檢視方法cmd輸入

pip --version

若未安裝，請參考如下連線

參考連線

安裝pywin32

3.安裝pywin32

pip install pywin32

4.1安裝命令

pip install scrapy

python

>>>import scrapy

4.3建立專案

cmd切換要安裝的目錄下

scrapy startproject tutorial

tutorial/scrapy.cfg

tutorial/__init__.py
items.py
pipelines.py
settings.py
spiders/__init__.py
...

5.常見問題

5.1.缺少c++元件

安裝完成後，無需重啟電腦。

5.2.pip版本低

執行如下命令進行公升級

python -m pip install  --upgrade pip

安裝 python 爬蟲框架 Scrapy

官方安裝說明文件 一 scrapy 需要以下依賴 二 一般來說，你可以通過以下命令直接安裝 scrapy 依賴會被自動安裝 pip3 install scrapy注 關於pip 和 pip3 的區別，請看 這裡 三 乙個常見的問題是 安裝 twisted 時，會報 microsoft visual ...

scrapy爬蟲框架

作者經過幾周的python爬蟲實踐之後，深入學習了一下scrapy這個爬蟲框架，現將一些基本知識和 總結整理一下，以備後查。2.scrapy的命令列使用 這部分網上很多部落格都有總結，不需要背，理解會用主要的命令 startproject crawl fetch list genspider.即可，...

scrapy 爬蟲框架

1.安裝 公升級pip版本 pip install upgrade pip 通過pip安裝scrapy框架 pip install scrapy 安裝成功 只執行scrapy 進行測試是否安裝成功 2.scrapy startproject 爬蟲專案名稱 執行此命令,可以生成乙個爬蟲專案 會預先生成...