Scrapy002 框架安裝

2022-05-17 06:23:44 字數 1674 閱讀 6282

@(spider)[posts]

這裡我使用的是python3.x，

在安裝scrapy之前，首先需要確定環境和版本：

依賴安裝：

sudo apt-get install build-essential


sudo apt-get install python3-dev


sudo apt-get install libxml2-de;


sudo apt-get install libxslt1-dev


sudo apt-get install python3-setuptools
lxml 安裝：

sudo python3 -m pip install lxml
scrapy安裝：

sudo python3 -m pip install scrapy
安裝openssl：

sudo python3 -m pip install pyopenssl
之前安裝了python-dev和python-setuptools也要重新安裝python3版本的這兩個軟體，即執行：

sudo apt-get install python3-dev


sudo apt-get install python3-setuptools
安裝過程很簡單，若出現其他問題，根據實際情況解決即可。

在安裝之前我們需要進行準備工作：

更新pip工具

python -m pip install -upgrade pip
由於windows對twisted框架支援還不是很完善，並不能通過pip來安裝，我們可以通過下列方式：

1. 安裝twisted和lxml

ctrl+f查詢lxml即可。

注意:cp35表示python3.5，win32指的是python的位數而不是windows的系統位數

pip install d:\twisted-16.4.1-cp35-cp35m-win32.whl


pip install d:\lxml-3.6.4-cp35-cp35m-win32.whl
2. 安裝scrapy
pip install scrapy
3.依賴問題

安裝完成後，啟動時關於錯誤importerror

importerror: cannot import name '_win32stdio'


importerror: no module named 'win32api'
解決：

pip  install  win32api

安裝scrapy框架

1 直接安裝scrapy一般會出現錯誤 pip install scrapy 會出現以下錯誤 5p twisted setup.py f getattr tokenize,open open file code f.read replace r n n f.close exec compile co...

安裝Scrapy框架

1.安裝 scrapy 通過 pip install scrapy 即可安裝。2.如果在windows下，還需要安裝 pipwin32 如果不安裝，那麼以後執行scrapy專案的時候會報錯。安裝方式 pip install pipwin32 3.如果在ubuntu下，還需安裝一些第三方庫 sudo ...

python安裝scrapy框架

說明之前在 window 10 64 python 3.5 64 環境下就已經成功安裝了 scrapy，當然也費了不少周折。為了方便後來的朋友，特將 python 3.5 下的 scrapy 安裝步驟記錄如下 注意 本文基於環境 windows 7 64 python 3.5 64 1 安裝 pyw...