python學習網頁解析

python網頁解析工具，可以根據標籤特點獲取相應標籤中的內容。開始沒有找到beautifulsoap這個強大的工具，同時也想提公升程式的執行效率（自己的程式僅需執行一次），這裡自己實現了乙個可以根據html標籤獲取到網頁元素的程式，這個程式是基於查詢的形式對網頁解析，沒有對網頁元素進行分類和歸類。

程式基於python3.0,以上版本，分為兩大塊，webclient、html元素解析，具體的實現如下：

這裡採用urllib模組對網頁url進行訪問並返回相應的網頁資訊。

none這裡，我們利用html中各個標籤的對稱性，提出乙個演算法，找到起始標籤，對於相同的元素標籤如div進行計數，當<div>與</div>相同時，返回其間的資料作為乙個模組，具體**如下：

class
******_parser:
defparser
(self, data, stag, etag):
epos = 0
npos = epos
totallen = 0
elen = len(etag)
dlen = len(data)
depth = 0
while
true:
epos = data[totallen:].find(etag)
if epos < 0:
return -1
else:
count = data[totallen:epos+totallen].count(stag)
depth += count
depth -=1
epos += elen
totallen += epos
if depth == 0:
return totallen
if totallen >= dlen:
return -1
return -1
deffeed
(self, data, stag, etag):
headtag = stag.split(' ')[0]
itemlist = 
pseek = 0
while
true:
npos = data[pseek:].find(stag)
if npos < 0:
return itemlist
nlen = self.parser(str(data[pseek+npos:]), headtag, etag)
if nlen >= 0:
pseek += npos+nlen
else:
return itemlist

最終，我選取了劍俠情緣網路版三的新聞頁面進行抓取。**如下：

class
jx3_spider:
defget_news
(self, page):
myparser = ******_parser()
return myparser.feed(page, u'', u'
'); def
get_css
(self, page):
myparser = ******_parser()
return myparser.feed(page, u', u'/>')
if __name__ == '__main__':
myclient = htmlclient()
mypage = myclient.getpage("")
jx3_spider = jx3_spider()
jx3_news = jx3_spider.get_news(mypage)
jx3_css = jx3_spider.get_css(mypage)
infile = input('>')
with open("jx3_news.html", 'wb') as jx3file:
jx3file.write(b'')
jx3file.write(b'')
for item in jx3_css:
jx3file.write(bytes(item, 'utf-8'))
for item in jx3_news:
jx3file.write(bytes(item, 'utf-8'))
jx3file.close()

python學習網頁解析

opencv學習網頁

opencv學習網頁

快速學習網頁爬蟲之python

python學習 網頁解析

opencv學習網頁

opencv學習網頁

快速學習網頁爬蟲之python

相關推薦

python學習網頁解析