Windows常用爬蟲庫的安裝

2021-10-06 01:34:54 字數 852 閱讀 4531

三、scrapy庫

之前安裝過python3.8了,這裡不在贅述,只是說說一些常用的庫和其環境的安裝

pip install requests
依賴庫【會自動安裝】:urllib3,idna,chardet,certifi驗證安裝:

selenium是自動化測試工具,可以驅動瀏覽器執行操作

1、selenium

pip install selenium
2、chorme瀏覽器

檢視版本:

chrome://version/
3、chormedriver

在這裡找到和瀏覽器相同的版本:

在python終端輸入以下命令檢視安裝路徑:

import sys

sys.path

4、驗證安裝

輸入這個能自動開啟瀏覽器就沒問題:

from selenium import webdriver

webdriver.chrome(

)

如果直接

pip install scrapy
別的phantomjs,資料庫,charles暫時不說了,之後學到再來補充。

python爬蟲常用庫安裝 爬蟲常用庫的安裝

請求庫 解析庫儲存庫 工具庫請求庫 urlib re python內建庫 requests pip3 install requests pip2,pip conda都是可以選擇的 selenium pip3 install selenium chromedriver 測試python下輸入 from...

Python爬蟲環境常用庫安裝

1 urllib urllib.request 這兩個庫是python自帶的庫,不需要重新安裝,在python中輸入如下 import urllib import urllib.request response urllib.request.urlopen print response 1 2 3 ...

Windows下python庫的常用安裝方法

摘要 相信大家經常被在windows底下如何安裝我們所需要的庫而頭疼不已,不是缺這個檔案就是缺那個檔案,下面介紹幾種常用的安裝方法。持續更新,把我遇到過的問題都寫出來。目錄 1.pip安裝 需要pip 方法一 pip安裝。這是最常用的python安裝方法,新版的python一般自帶pip.exe程式...