爬蟲概念 HTTP協議 加密方式

2022-09-20 13:09:12 字數 589 閱讀 8312

1. 爬蟲的概念 : 通過編寫**, 來自動控制瀏覽器來抓去資料

2. 爬蟲協議: robots.txt 協議 , 該協議裡面註明了哪些資訊允許爬蟲 , 哪些不允許 , 違反改協議的爬蟲行為可判定為惡意爬蟲 , 有承擔法律責任的風險

3. http協議 : 是伺服器端和客戶端進行資訊傳遞的一種協議 , 只有雙方遵循該相同的協議才能進行資料傳輸

常用請求頭: - user-agent: 請求載體的資訊(一般為所使用的瀏覽器相關資訊); 

- connection: 請求完畢後, 是否保持連線的

常用相應頭: - content-type: 伺服器相應客戶端的資料型別

4. https協議: 安全的超文字傳輸協議

5. 加密方式: - 對稱金鑰加密: 客戶端傳送請求時對請求資料進行加密, 然後將密文和金鑰一起傳送給伺服器, 伺服器拿到金鑰後對密文進行解密

- 非對稱金鑰加密: 伺服器自己定義一種加密方式, 並將此加密方式(公鑰)告訴客戶端, 客戶端拿到公鑰後在傳送請求時利用公鑰進行加密

- 證書加密: 伺服器將公鑰交給第三方機構(證書機構)進行數位化簽名, 證書機構再將帶數字簽名的公鑰傳送給客戶端, 客戶端再利用此公鑰進行加密

HTTP協議 HTTPS協議 加密方式

超文字傳輸協議 伺服器與客戶端進行資料互動的一種形式 請求載體 瀏覽器 的身份標識 包含當前作業系統的版本 當前瀏覽器的版本 請求完畢後,是保持連線還是斷開連線 close keep alive 伺服器響應回客戶端的資料型別 常見的 格式型別如下 text html html格式 text plai...

HTTP協議 概念

http 超文字傳輸協議 hyper text transfer protocol 當我們在瀏覽器的位址列輸入乙個位址的時候,就能夠訪問伺服器的某個頁面 這個過程本身就是兩個應用程式之間的互動,乙個應用程式是瀏覽器,另乙個應用程式是伺服器。協議是什麼?協議就是不同的應用程式之間按照事先做好的約定進行...

HTTP協議概念

http協議是 超文字傳輸協議 的縮寫,適用於從全球資訊網伺服器傳輸超文字到本地瀏覽器的傳送協議。http預設埠號為80 tcp ip是什麼?答 tcp ip是用於網際網路的通訊協議 https 超文字傳輸安全協議,是以安全為目標的http通道,簡單講是http的安全版。http使用埠443 1.h...