Python實現自動訪問網頁的例子

2022-09-26 11:39:16 字數 2244 閱讀 4859

我就廢話不多說了,直接上**吧!

#ip程式設計客棧池

#ip**:

# #

def randomip():

ip = random.choice(['120.78.78.141', '122.72.18.35', '120.92.119.229'])

return ip

#user-agent

#user-agent**:

def randomuseragent():

useragent = random.choice(['mozilla/5.0 (windows nt 6.1) applewebkit/537.36 (khtml, like gecko) chrome/41.0.2228.0 safari/537.36',

'mozilla/5.0 (macintosh; intel mac os x 10_10_1) applewebkit/537.36 (khtml, like gecko) chrome/41.0.2227.1 safari/537.36',

'mozilla/5.0 (x11; lin程式設計客棧ux x86_64) applewebkit/537.36 (khtml, like gecko) chrome/41.0.2227.0 safari/537.36'])

return useragent

if __name__ == '__main__':

for i in range(10):

ip = randomip()

agent = randomuseragent()

openurl(ip, agent)

time.sleep(1)

補充拓展:python模擬瀏覽器實現網頁訪問方式

模擬瀏覽器請求資料:

imp程式設計客棧ort socket

# 建立tcp鏈結

tcp_socket = socket.socket(socket.af_inet, socket.sock_stream)

# dns 解析和鏈結http伺服器

tcp_socket.connect(("www.qq.com", 80))

# 編寫請求頭, 傳送http請求報文

# 請求行

# 請求頭,設定請求網域名稱

request_header = "www.qq.com\r\n"

request_data = request_line + request_header + "\r\n"

# 傳送請求

tcp_socket.send(request_data.encode("utf-8"))

# 接收響應報文,指定長度

response_data = tcp_socket.recv(4096)

# 對響應報文進行解析 --切割

response_str_data = response_data.decode("utf-8")

print(response_data)

# "\r\n\r\n" 之後的資料就是響應體資料

index = response_str_data.find("\r\n\r\n")

# 切割出的資料就是檔案資料

html_data = response_str_data[index+4:]

# 在當前路徑下新建檔案儲存響應資料

with open("index.html", "wb") as www.cppcns.comfile:

file.write(html_data.encode())

# 關閉套接字

tcp_socket.close()

本文標題: python實現自動訪問網頁的例子

本文位址:

python 網頁訪問

1 在python3中只有urllib乙個庫,這裡面整合了原來的urllib和urllib2 2import urllib.request34 定義乙個request物件,傳入乙個url完整位址,並用request函式。5 request urllib.request.request 67 開啟ur...

Python實現網頁自動化朗讀

是不是有的時候懶得自己看新聞?那麼不妨試試用 python 來朗讀給你聽吧。網頁轉換成語音,步驟無外乎 網頁正文識別,獲取到正文的文字內容 文字轉語音,通過介面將文字轉換成語音檔案 語音檔案的發聲,即將語音檔案讀出 01 網頁正文識別 之所以用 python,就是因為 python 有著豐富的庫,網...

python訪問需要登入的網頁

有些網頁需要你登入之後才可以訪問,你需要提供賬戶和密碼。只要在傳送http請求時,帶上含有正常登陸的cookie就可以了。1.首先我們要先了解cookie的工作原理。cookie是由伺服器端生成,傳送給user agent 一般是瀏覽器 瀏覽器會將cookie的key value儲存到某個目錄下的文...