python 爬蟲001 http請求過程

2022-05-14 02:19:59 字數 1372 閱讀 7958

http 請求流程

一次完整的http請求過程從tcp三次握手建立連線成功後開始,客戶端按照指定的格式開始向服務端傳送http請求,服務端接收請求後,解析http請求,處理完業務邏輯,最後返回乙個http的響應給客戶端,http的響應內容同樣有標準的格式。無論是什麼客戶端或者是什麼服務端,大家只要按照http的協議標準來實現的話,那麼它一定是通用的。

http請求格式

http請求格式主要有四部分組成,分別是:請求行、請求頭、空行、訊息體,每部分內容佔一行

請求行:請求行是請求訊息的第一行,由三部分組成:分別是請求方法(get/post/delete/put/head)、請求資源的uri路徑、http的版本號

訊息體:請求體是客戶端發給服務端的請求資料,這部分資料並不是每個請求必須的。

http響應格式

伺服器接收處理完請求後返回乙個http相應訊息給客戶端。http響應訊息的格式包括:狀態行、響應頭、空行、訊息體。每部分內容佔一行。

狀態行:狀態行位於相應訊息的第一行,有http協議版本號,狀態碼和狀態說明三部分構成。如:

http/1.1 200 ok
響應頭:響應頭是伺服器傳遞給客戶端用於說明伺服器的一些資訊,以及將來繼續訪問該資源時的策略。

connection:keep-alive

content-encoding:gzip

content-type:text/html; charset=utf-8

date:fri, 24 jun 2016 06:23:31 gmt

server:nginx/1.9.12

transfer-encoding:chunked

***

python爬蟲基礎 http協議

http協議 1.1headers是請求頭 request headers是傳送過去的請求,裡面包含了完整的http請求資料,在之後我們爬取 頁面時會用到。get是獲取方式 host是遠端主機位址 connection客戶端希望的聯機方式 accept是客戶端能接受的 型別 user agent標示...

Python爬蟲 HTTP協議 Requests庫

http協議 http hypertext transfer protocol 即超文字傳輸協議。url是通過http協議訪問資源的internet路徑,乙個url對應乙個資料資源。http協議對資源的操作 requests庫提供了http所有的基本請求方式。官方介紹 requests庫的6個主要方...

Python網路爬蟲 http和https協議

一.http協議 1.官方概念 http協議是hyper text transfer protocol 超文字傳輸協議 的縮寫,是用於從全球資訊網 www world wide web 伺服器傳輸超文字到本地瀏覽器的傳送協議。雖然童鞋們將這條概念都看爛了,但是也沒辦法,畢竟這就是http的權威官方的...