P20 資料解析 1 xpath簡介以及工具安裝

2021-10-07 21:07:43 字數 4066 閱讀 2396

什麼是xpath?

xpath (xml path language)是一門xml 和html文件中查詢資訊的語言,可以用來在xml和html中對元素和屬性進行遍歷

xpath開發工具

chrome外掛程式 xpath helper

firefox外掛程式 xpath checker

xpath 使用路徑表示式在 xml 文件中選取節點。節點是通過沿著路徑或者 step 來選取的。

表示式描述

nodename

選取此節點的所有子節點。

/從根節點擊取。

//從匹配選擇的當前節點擊擇文件中的節點,而不考慮它們的位置。

.選取當前節點。

..選取當前節點的父節點。

@選取屬性。

contains:有時候某個屬性中包含了多個值,可以使用『contains』函式

//div[contains(@calss, 'job_detail')]

在下面的**中,我們已列出了一些路徑表示式以及表示式的結果:

路徑表示式

結果bookstore

選取 bookstore 元素的所有子節點。

/bookstore

選取根元素 bookstore。

注釋:假如路徑起始於正斜槓( / ),則此路徑始終代表到某元素的絕對路徑!

bookstore/book

選取屬於 bookstore 的子元素的所有 book 元素。

//book

選取所有 book 子元素,而不管它們在文件中的位置。

bookstore//book

選擇屬於 bookstore 元素的後代的所有 book 元素,而不管它們位於 bookstore 之下的什麼位置。

//@lang

選取名為 lang 的所有屬性。

謂語用來查詢某個特定的節點或者包含某個指定的值的節點。(謂語中的下表是從1開始的,不是從0開始的)

謂語被嵌在方括號中。

在下面的**中,我們列出了帶有謂語的一些路徑表示式,以及表示式的結果:

路徑表示式

結果/bookstore/book[1]

選取屬於 bookstore 子元素的第乙個 book 元素。

/bookstore/book[last()]

選取屬於 bookstore 子元素的最後乙個 book 元素。

/bookstore/book[last()-1]

選取屬於 bookstore 子元素的倒數第二個 book 元素。

/bookstore/book[position()<3]

選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。

//title[@lang]

選取所有擁有名為 lang 的屬性的 title 元素。

//title[@lang='eng']

選取所有 title 元素,且這些元素擁有值為 eng 的 lang 屬性。

/bookstore/book[price>35.00]

選取 bookstore 元素的所有 book 元素,且其中的 price 元素的值須大於 35.00。

/bookstore/book[price>35.00]/title

選取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值須大於 35.00。

xpath 萬用字元可用來選取未知的 xml 元素。

萬用字元描述

*匹配任何元素節點。

@*匹配任何屬性節點。

node()

匹配任何型別的節點。

在下面的**中,我們列出了一些路徑表示式,以及這些表示式的結果:

路徑表示式

結果/bookstore/*

選取 bookstore 元素的所有子元素。

//*選取文件中的所有元素。

//title[@*]

選取所有帶有屬性的 title 元素。

通過在路徑表示式中使用「|」運算子,您可以選取若干個路徑。

在下面的**中,我們列出了一些路徑表示式,以及這些表示式的結果:

路徑表示式

結果//book/title | //book/price

選取 book 元素的所有 title 和 price 元素。

//title | //price

選取文件中的所有 title 和 price 元素。

/bookstore/book/title | //price

選取屬於 bookstore 元素的 book 元素的所有 title 元素,以及文件中所有的 price 元素。

lxml庫:

from lxml import etree

text='''

'''html=etree.html(text) #初始化生成乙個xpath解析物件

result=etree.tostring(html,encoding='utf-8') #解析物件輸出**

print(type(html))

print(type(result))

print(result.decode('utf-8'))

#etree會修復html文字節點

讀取檔案:

from lxml import etree

html=etree.parse('test.html',etree.htmlparser()) #指定解析器htmlparser會根據檔案修復html檔案中缺失的如宣告資訊

result=etree.tostring(html) #解析成位元組

#result=etree.tostringlist(html) #解析成列表

print(type(html))

print(type(result))

print(result)

#b'\n

\n

\n \n

'

獲取節點

from lxml import etree

html=etree.parse('test.html',etree.htmlparser()) #指定解析器htmlparser會根據檔案修復html檔案中缺失的如宣告資訊

result=etree.tostring(html) #解析成位元組

#result=etree.tostringlist(html) #解析成列表

print(type(html))

print(type(result))

print(result)

#b'\n

\n

\n \n

'

使用lxml解析html**:

1.解析html字串,使用  lxml.etree.html 進行解析,例項**如下:

htmlelement = etree.html(text)

print(etree.tostring(htmlelent, encoding="utf-8").decode("utf-8"))

2.解析 html檔案,使用lxml.etree。parse 進行解析,例項**如下:

htmlelement = etree.parse("test.html")

print(etree.tostring(htmlelement,encoding="utf-8").decode("utf-8"))

這個函式使用的是 xml解析器,如果遇到不規範的html **時候就是用自己建立 html解析器

parser = etree.htmlparser(encoding="utf-8")

htmlelement = etree.parse("test.html", parser=parser)

print(etree.tostring(htmlelement, encoding="utf-8").decode("utf-8"))

(P20)訊號安裝函式 sigaction

原型 intsigaction int signum,const struct sigaction act,struct sigaction oldact 引數 第乙個引數 該函式的第乙個引數為訊號的值,可以為除sigkill以及sigstop外的任何乙個特定有效的訊號 因為為這倆訊號定義自己的處理...

華為p20 安裝Charles證書步驟

我從網上搜尋,有的人說,需要把證書的包的字尾名改為 crt 剛開始我以為,華為只認識pem,但是我今天測試了,它也認識crt 下面我說一下我的大體步驟 3 安裝 4 檢視證書是否安裝成功 5 使用charles進行抓包,驗證結果 下面我詳細步驟展示 注意 有的時候你安裝好了之後,也有可能抓不到htt...

P20 難度增加的抽籤問題

p20頁 難度增加的抽籤問題 核心 處理大資料時,二分查詢演算法lgn的時間複雜度是很省時間的 問題 n個籤,有放回抽取4次,求和是否有可能為m,n 1000 解決 1。四次迴圈得到4只簽求和後和m比較,時間複雜度為n 4,12個0,不行 2。三次迴圈後得到三支籤k1,k2,k3,然後二分查詢最後乙...