爬蟲學習(四) post請求爬取

2022-08-03 01:42:11 字數 1628 閱讀 1844

import urllib.request

import urllib.parse

post_url = ""

word= input( "請輸入要翻譯的內容:" )

data =

# 對表單資料進行處理時,先轉換成為字串,在轉換成為位元組

# 只轉化成為字串形式

data1 = urllib.parse.urlencode(data)

print(data1)

# 輸出結果

# word=%e5%ae%9d%e8%b4%9d 字串格式

# 轉換成為位元組格式

data = urllib.parse.urlencode(data).encode("utf8")

print(data)

# 顯示結果:

# b'word=%e5%ae%9d%e8%b4%9d' 位元組格式

request = urllib.request.request(post_url,headers=headers)

response = urllib.request.urlopen(request,data = data)

print(response.read().decode("utf8"))

import urllib.request

import urllib.parse

apiurl = ""

在爬取目標**時,先找準目標**的介面,和需要傳遞的資料

data =
data1= urllib.parse.urlencode( data ).encode( "utf8" )

#post請求重點是請求頭資訊要詳細,關鍵的屬性不能省

headers =

request = urllib.request.request( url=apiurl, headers=headers )

response = urllib.request.urlopen( request, data=data1 )

print(response.read().decode( "utf8" ) )

ajax的post請求

爬取kfc的餐廳位址

import urllib.request

import urllib.parse

url = ""

# 表單輸入位址資訊

keyword =input("請輸入需要查詢的城市")

#請求網頁需要進行傳遞的引數

data =

# 解析引數,程式設計位元組格式

data = urllib.parse.urlencode(data).encode("utf8")

# 構建請求頭資訊

request = urllib.request.request(url,headers = headers)

# 傳送請求,獲取相應資料,重點是附帶引數的post請求。

response = urllib.request.urlopen(request,data=data)

# 讀取響應資訊

print(response.read().decode("utf8"))

爬蟲 學習爬取表情包

表情包位址 表情位址 1.請求目標 2.匹配不同位址 url def get urls url 1.請求目標 response requests.get url 2.通過正則來匹配不同位址 url 每張共有內容保留,不同的內容用.來匹配 表示匹配任意數量不換行的字元 表示盡可能匹配最短的字元 r u...

爬蟲爬取bilibili

1.根據url傳送請求給伺服器,獲取html文字 2.解析html文字,把需要的資料挑出來 3.從html中解析出超連結,繼續爬取其中的頁面 爬蟲的協議b站的爬蟲協議 尾巴加上 robots.txt 獲取相應的api 控制抓取的頻率 import requests url 發起網路請求 respon...

爬蟲分享 四 多執行緒爬取小說

解析網頁獲取每章 位址 這次要爬取一本名為 元尊 的 url 進入網頁開啟開發者工具 這樣,我們就獲取到了每章 的位址儲存每章 本地 隨便開啟一章,開啟開發者工具,就可以輕鬆定位標題和文字。再加入多執行緒,我們便能夠以較快速度爬取 完整 如下 ecoding utf 8 modulename nov...