02步獲取網頁片段資訊

2021-10-24 06:18:39 字數 1490 閱讀 3144

from urllib.request import urlopen, request

from lxml import etree

#建構函式,抓取第i頁資訊

# 構造第i頁的**

url = ''

ret = request(url, headers=headers)

res = urlopen(ret)

html = res.read().decode('utf-8')

print(html)

html = etree.html(html)

datas = html.xpath('//ol[@class="grid_view"]/li')

a = 0

for data in datas:

data_title = data.xpath('div/div[2]/div[@class="hd"]/a/span[1]/text()')

data_info = data.xpath('div/div[2]/div[@class="bd"]/p[1]/text()')

data_quote = data.xpath('div/div[2]/div[@class="bd"]/p[2]/span/text()')

data_score = data.xpath('div/div[2]/div[@class="bd"]/div/span[@class="rating_num"]/text()')

data_num = data.xpath('div/div[2]/div[@class="bd"]/div/span[4]/text()')

data_picurl = data.xpath('div/div[1]/a/img/@src')

print("no: " + str(1 * 25 + a + 1))

print(data_title)

with open('douban250.txt', 'a', encoding='utf-8')as f:

# 封面儲存路徑和檔名

# 因為發現有幾部電影沒有quote,所以這裡加個判斷,以免報錯

if data_quote:

f.write(data_quote[0] + '\n')

f.write(data_score[0] + '\n')

f.write(data_num[0] + '\n')

f.write('\n' * 3)

a += 1

js 獲取網頁高度等資訊

在我本地測試當中 在ie firefox opera下都可以使用 document.body.clientwidth document.body.clientheight 即可獲得,很簡單,很方便。而在公司專案當中 opera仍然使用 document.body.clientwidth docume...

java獲取http網頁預警資訊

在參考網上獲取http網頁資訊後,完成了獲取預警資訊的功能,將xml資訊轉換成json字串進行解析,插入到對應的表中,進行推送等功能 如下 stringbuffer sb new stringbuffer string acceptencoding 1.生成 httpclinet 物件並設定引數 設...

Powershell 獲取特定的網頁資訊

powershell可以很輕鬆的獲取網頁的資訊並讀取到對應的內容。如果物件的格式是xml或者json,那就更容易處理了,一般經常使用invoke restmethod和invoke webrequest這兩個命令。前者主要是獲取json格式的內容,後者可以獲取整個網頁的內容。比如說我希望查詢明天雪梨...