請求庫
解析庫儲存庫
工具庫請求庫
urlib re python內建庫
requests pip3 install requests #pip2,pip-conda都是可以選擇的
selenium pip3 install selenium
chromedriver
測試python下輸入：
from selenium importwebdriver
driver= webdriver.chrome()
順利開啟了網頁
driver.get('') 就能開啟python官網
phantomjs 靜默瀏覽器 無介面瀏覽器
進入互動控制台
python下輸入
from selenium importwebdriver
driver=webdriver.phantomjs()
driver.get('')
driver.page_source
網頁解析庫
lxml pip3 install lxml
beautifulsoup pip3 install beautifulsoup4
pyquery pip3 install pyquery
語法同jquery，pyquery文件
儲存庫pymysql pip3 install pymysql
pymongo pip3 install pymongo
redis pip3 install redis
工具庫flask web服務，**設定 pip3 install flask
flask文件
django pip3 install django
jupyter pip3 install jupyter
Python爬蟲環境常用庫安裝
1 urllib urllib.request 這兩個庫是python自帶的庫，不需要重新安裝，在python中輸入如下 import urllib import urllib.request response urllib.request.urlopen print response 1 2 3 ...
python爬蟲相關庫安裝
python爬蟲涉及的庫 請求庫，解析庫，儲存庫，工具庫 1.請求庫 urllib re requests 1 urllib re是python預設自帶的庫，可以通過以下命令進行驗證 沒有報錯資訊輸出，說明環境正常 2 requests安裝 2.1 開啟cmd，輸入 pip3 install req...
Windows常用爬蟲庫的安裝
三 scrapy庫 之前安裝過python3.8了，這裡不在贅述，只是說說一些常用的庫和其環境的安裝 pip install requests依賴庫 會自動安裝 urllib3,idna,chardet,certifi驗證安裝 selenium是自動化測試工具，可以驅動瀏覽器執行操作 1 selen...