xpath不能正常匹配

2021-09-12 09:23:23 字數 458 閱讀 9058

記錄一下今天掉的坑。。。本來再寫爬蟲的時候發現xpath能在瀏覽器裡正常使用,但是放到我的專案裡就是乙個空列表。弄了我將近乙個小時。解決方案有兩種:

第一種就是攜帶cookie值。

self.headers = 

然後在訪問的時候攜帶headers就行

response = requests.get(self.start_url, self.headers)

第2種解決方法就是使用selenium
browser = webdriver.chrome()

browser.get(details_url)

html = browser.page_source

html = etree.html(html)

img = html.xpath('//a/@href') #然後就可以正常的匹配了

爬蟲 xpath 匹配

從根標籤開始 必須具有嚴格的父子關係 從當前標籤 後續節點含有即可選出 import lxml.html test data 111111 29.99 222222 39.95 33333 40 123 萬用字元,選擇所有 div book 1 title 選擇div下第乙個book標籤的title...

電腦不能正常關機

經常有朋友反映,自己的電腦安裝後關閉計算機總是提示 你現在可以安全關閉計算機了 然後要按下電源才能徹底關機。出現這種現象的windows xp基本都是使用ghost轉殖安裝的,而產生這種問題的根本原因是電源的設定不正確所導致的。出現這種問題之後,很多朋友採取了最極端 效率最低的處理方法,那就是換一張...

ubuntu不能正常登入

在ubuntu登入介面,輸入密碼後,出現乙個介面後一閃而過又返回登入介面。檢視auth.log發現如下錯誤 may 15 15 42 19 tim vm lightdm pam unix lightdm greeter session session opened for user lightdm ...