Python爬蟲環境常用庫安裝

2021-09-20 00:15:55 字數 1553 閱讀 4925

1:urllib urllib.request

這兩個庫是python自帶的庫,不需要重新安裝,在python中輸入如下**:

import urllib

import urllib.request

response=urllib.request.urlopen("")

print(response) 1

2 3

4返回結果為httpresponse的物件: 

2:正規表示式模組

import re 1

該庫為python自帶的庫,直接執行不報錯,證明該庫正確安裝。

3:request庫的安裝

安裝命令:pip install requests 

驗證該庫是否安裝成功,執行如下**:

import requests

response=requests.get("")

print(response) 1

2 3

4:selenium庫的安裝

由於如果需要使用selenium的話,需要為本機配置對應瀏覽器的驅動,下面以chomedriver為例,首先安裝chromedriver,chromedriver與支援對應的chrome版本如下:

chromedriver版本 支援的chrome版本 

v2.33 v60-62 

v2.32 v59-61 

v2.31 v58-60 

v2.30 v58-60 

v2.29 v56-58 

v2.28 v55-57 

v2.27 v54-56 

v2.26 v53-55 

v2.25 v53-55 

v2.24 v52-54 

v2.23 v51-53 

v2.22 v49-52 

v2.21 v46-50 

v2.20 v43-48 

v2.19 v43-47 

v2.18 v43-46 

v2.17 v42-43 

v2.13 v42-45 

v2.15 v40-43 

v2.14 v39-42 

v2.13 v38-41 

v2.12 v36-40 

v2.11 v36-40 

v2.10 v33-36 

v2.9 v31-34 

v2.8 v30-33 

v2.7 v30-33 

v2.6 v29-32 

v2.5 v29-32 

v2.4 v29-32 

如何檢視本機的chrome的版本,具體方法如下: 

chromedriver解壓後放到python或者其他配置了環境變數的目錄下。 

測試**及執行結果如下: 

安裝plantomjs 

5: 安裝lxml

6:安裝beautifulsoup

7:安裝pyquery

8:安裝pymysql

9:安裝pymongo

10:安裝redis

11:安裝flask

12:安裝django

python爬蟲常用庫安裝 爬蟲常用庫的安裝

請求庫 解析庫儲存庫 工具庫請求庫 urlib re python內建庫 requests pip3 install requests pip2,pip conda都是可以選擇的 selenium pip3 install selenium chromedriver 測試python下輸入 from...

python爬蟲相關庫安裝

python爬蟲涉及的庫 請求庫,解析庫,儲存庫,工具庫 1.請求庫 urllib re requests 1 urllib re是python預設自帶的庫,可以通過以下命令進行驗證 沒有報錯資訊輸出,說明環境正常 2 requests安裝 2.1 開啟cmd,輸入 pip3 install req...

Windows常用爬蟲庫的安裝

三 scrapy庫 之前安裝過python3.8了,這裡不在贅述,只是說說一些常用的庫和其環境的安裝 pip install requests依賴庫 會自動安裝 urllib3,idna,chardet,certifi驗證安裝 selenium是自動化測試工具,可以驅動瀏覽器執行操作 1 selen...