Python3 7 selenium捕獲網頁內容

2021-10-10 23:13:57 字數 2087 閱讀 6387

windows64位家庭版使用pycharm(version2020.2)編譯環境python3.7編寫。成功捕獲乙個網頁的日誌部分。

selenium是一種自動化測試的技術,可以直接在瀏覽器中開啟**,審查**等,可以模擬使用者的操作。

運用selenium可以測試我們創作的web專案能否更好的在不同的瀏覽器中執行,也可以用來爬取乙個網頁的資訊。

通過selenium捕獲「」的log資訊,並儲存在info.json檔案中

請注意,如果您未執行上述步驟,在編譯檔案過程中可能會報錯,因為編譯器找不到瀏覽器驅動,它無法開啟瀏覽器進行下一步的內容。

當然,也可以用這種方法設定您的web driver的環境變數:

chromedriver = "\您的chromedriver路徑\"

driver = webdriver.chrome(chromedriver)

包含的庫檔案:

如果提示您未安裝某個依賴庫,您可以使用命令"pip install

請注意這裡的13行是我的chromium瀏覽器的目錄,瀏覽器可執行程式在這個目錄下面,我們需要在**中宣告chrome.exe的路徑,否則可能會報錯,error msg :

desired capabilities類提供一組鍵值對key-value,我們通過它指定執行環境是谷歌瀏覽器,您可以根據您的需要修改如火狐、safari…

輸出抓取的info.json檔案

#設定啟動項,

設定要抓取的網頁

driver = webdriver.chrome(desired_capabilities=capabilities, options=chrome_options)

driver.get(

'')#列印抓取的資訊

info=

for capw_ in driver.get_log(

'browser'):

pprint.pprint(capw_)

j = json.dumps(info, indent =

4,ensure_ascii=

false

)with codecs.

open

('info.json'

,'w'

,'utf-8')as

file

:file

.write(j)

driver.close(

)

如果您需要載入一些瀏覽器擴充套件,您可以嘗試在**中加入以下內容

chrome_options.add_extension(

"\你的擴充套件程式路徑\擴充套件程式.crx"

)

find_element_by_id

find_element_by_name

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector

定位多個匹配元素的方法:

find_elements_by_name

find_elements_by_xpath

find_elements_by_link_text

find_elements_by_partial_link_text

find_elements_by_tag_name

find_elements_by_class_name

find_elements_by_css_selector

Python3 7安裝部署

教你如何在 centos 7 下編譯安裝 python 3.7 與 python 2.7.5 共存。環境 centos 7.6 x64 一 安裝python 3.7 wget 如果沒有wget命令,可以使用命令安裝 yum y install wget 安裝依賴包,避免安裝過程 現的 zipimpo...

python37安裝失敗 安裝python37

python原始碼安裝 解除安裝py37 sudo apt get autoremove python3.7 解壓檔案 sudo tar xvf python 3.7.7.tgz 編譯檔案 安裝依賴庫 sudo apt y install libbz2 dev libncurses5 dev lib...

linux環境安裝python3 7

我用的是linux centos 6 1 首先安裝依賴包,確認gcc是否安裝,可以用檢視 gcc version 2.如果沒有則進行安裝,需要sudo許可權 yum y install gcc 3.安裝其他依賴包 可以不安裝,但是可能會安裝過程中報錯 yum y install zlib devel...