Python爬蟲之PyQuery使用(六)

2022-04-04 06:52:57 字數 2489 閱讀 4732

pyquery能夠通過選擇器精確定位 dom 樹中的目標並進行操作。pyquery相當於jquery的python實現,可以用於解析html網頁等。它的語法與jquery幾乎完全相同,對於使用過jquery的人來說很熟悉,也很好上手。

有 4 種方法可以進行初始化:

可以通過傳入 字串、lxml、檔案 或者 url 來使用pyquery

from pyquery import pyquery as pq

from lxml import etree

d = pq("")#傳入字串

d = pq(etree.fromstring(""))#傳入lxml

d = pq(url='') #傳入url

d = pq(filename=path_to_html_file) #傳入檔案

html='''

'''

from pyquery import pyquery as pq

doc = pq(html)

# 獲取所有a標籤

print(doc('body .mh-col li a'))

注意:

類名用.

id用#

標籤用標籤名

另外選擇的是具有層級關係,從左到右,不是直接的父子的關係。

執行結果如下:

歌手高空拍mv墜亡

佛祖朱龍廣金婚

常見租房陷阱

靳東回應發錯詩詞

煤老闆們的影視江湖

1024程式設計師節

美的合併小天鵝

京崑高速4車相撞

html='''

'''from pyquery import pyquery as pq

doc = pq(html)

items = doc('.mh-col')

#.find():查詢巢狀元素

alist = items.find('li a')

print(alist)

#查詢所有子元素

alist2 = items.children()

print(alist2)

#查詢指定的子元素

alist3 = items.children('.g-ellipsis1')

print(alist2)

#查詢父元素

#注意:乙個元素只有乙個父元素

body = items.parent()

print(body)

#查詢祖先元素

content = items.parents()

print(content)

#查詢兄弟元素

li = doc('.mh-col .g-ellipsis1')

print(li.siblings())

#遍歷 單個元素

#遍歷所有的a標籤

alist =doc('.mh-col li a').items()

for a in alist: print(a)

獲取屬性

a =doc('.mh-col li .g-a-noline8')

print(a.attr['href'])

print(a.attr.href)

獲取文字

a =doc('.mh-col li .g-a-noline8')

print(a.text())

獲取html

a =doc('.mh-col li .g-a-noline8')

print(a.html())

#addclass、removerclass

#修改類名

a =doc('.mh-col li .g-a-noline8')

print(a)

a.removeclass('g-a-noline8')

print(a)

a.addclass('g-a-noline8')

print(a)

#attr、css

#修改屬性和樣式

a =doc('.mh-col li .g-a-noline8')

print(a)

a.attr('name','link')

print(a)

a.css('font-size','14px')

print(a)

#remove

#刪除標籤

li = doc('.mh-col .g-ellipsis8')

print(li)

li.find('a').remove()

print(li)

更多的dom操作:

Python爬蟲之爬蟲概述

知識點 模擬瀏覽器,傳送請求,獲取響應 網路爬蟲 又被稱為網頁蜘蛛,網路機械人 就是模擬客戶端 主要指瀏覽器 傳送網路請求,接收請求響應,一種按照一定的規則,自動地抓取網際網路資訊的程式。知識點 了解 爬蟲的概念 爬蟲在網際網路世界中有很多的作用,比如 資料採集 抓取招聘 的招聘資訊 資料分析 挖掘...

python爬蟲感悟 Python之爬蟲有感(一)

urllib.request.request url headers headers user agent 是爬蟲和反爬蟲鬥爭的第一步,傳送請求必須帶user agent 使用流程 1 建立請求物件 request urlllib.request.request url 2 傳送請求獲取響應物件 r...

python爬蟲header 爬蟲之header

有些 不會同意程式直接用上面的方式進行訪問,如果識別有問題,那麼站點根本不會響應,所以為了完全模擬瀏覽器的工作,我們需要設定一些headers 的屬性。首先,開啟我們的瀏覽器,除錯瀏覽器f12,我用的是chrome,開啟網路監聽,示意如下,比如知乎,點登入之後,我們會發現登陸之後介面都變化了,出現乙...