python scrapy 環境搭建

2021-09-25 03:40:42 字數 646 閱讀 8647

這裡介紹的是windows環境+python3的安裝過程。

提取碼:q9l9

二、twisted 的支援

scrapy 是在twisted 框架上開發的,自然需要安裝twisted 包。

pip install twisited
三、安裝scrapy

pip install scrapy
當然這是最順利的情況。不同的作業系統、不同的python 版本,可能還會有一些小問題,提示也都比較清晰,這裡就不羅列了。

注意如果有win32/ 64 標誌的包,需要按照你的作業系統選擇。

2、使用pip 進行安裝

pip install twisted-

17.9

.0-cp27-cp27m-win_amd64.whl

pip install twisted-

17.9

.0.tar.bz2

pip install xlrd-

0.9.4

.tar.gz

Python scrapy環境搭建

scrapy有很多依賴包,在windows 下安裝很複雜。直接pip安裝scrapy會報出很多錯誤。具體依賴問題使用下面安裝的例子 先安裝框架需要的依賴包,然後再安裝scrapy框架。直接使用pip命令 pip install wheel 在pip install lxml 4.3.3 cp37 c...

github pages Jekyll環境搭建

通過jekyll可以搭建 簡單理解成網頁生成規則,就是通過配置能自動幫你生成靜態網頁的東西。如何配置,請看 首先要更新ruby,系統倉庫裡最新的是1.9.3,而jekyll要求 2.0 最終版本資訊 ruby v ruby 2.3.3p222 2016 11 21 revision 56859 x8...

iOS WebDriverAgent 環境搭建

webdriveragent是facebook 在去年的 seleniumconf 大會上推出了一款新的ios移動測試框架。當時的推文申明,還只支援模擬器,不過在今年4月更新的版本中,官方宣稱支援真機測試了,大家可以檢視官方github 的介紹 下面摘錄一段官方對於webdriveragent的介紹...