爬蟲1 get與post請求

2021-09-11 17:15:30 字數 806 閱讀 2276

一、使用requests或urllib用get方法進行請求

這個就是使用requests使用get方法進行請求輸出的結果這個就是請求後得到的網頁html原始碼

2.使用urllib.request.open獲得的response

2.如果是斷開網路了,就是無效請求,則會返回404

3.什麼是請求頭,如何新增請求頭,我已經用**演示過了

urllib 和 urllib2 都是接受url請求的相關模組,但是提供了不同的功能。兩個最顯著的不同如下:

urllib 僅可以接受url,不能建立 設定了headers 的request 類例項;

但是 urllib 提供 urlencode 方法用來get查詢字串的產生,而 urllib2 則沒有。(這是 urllib 和 urllib2 經常一起使用的主要原因)

編碼工作使用urllib的urlencode()函式,幫我們將key:value這樣的鍵值對轉換成"key=value"這樣的字串,解碼工作可以使用urllib的unquote()函式。(注意,不是urllib2.urlencode() )

傳智播客

第二頁:

第三頁:

先寫乙個main,提示使用者輸入要爬取的貼吧名,並用urllib.urlencode()進行轉碼,然後組合url,假設是lol吧,那麼組合後的url就是:

GET請求與POST請求 本質

get和post是http請求的兩種基本方法,要說它們的區別,接觸過web開發的人都能說出一二。最直觀的區別就是get把引數包含在url中,post通過request body傳遞引數。你可能自己寫過無數個get和post請求,或者已經看過很多權威 總結出的他們的區別,你非常清楚知道什麼時候該用什麼...

三 Get請求與Post請求

public static string sendget string url,string param 定義bufferedreader輸入流來讀取url的響應 in new bufferedreader new inputstreamreader connection.getinputstrea...

get與post請求區別

一 語義區別 http請求中get的語義是請求獲取資源,是安全 冪等 可快取的,報文主體沒有任何語義。post的語義處理資源是根據請求報文主體,對指定資源做處理,是不安全 不冪等 不可快取的 大部分 二 表現形式區別 1 get中請求引數是附在url裡,以?分割url和傳輸資料,引數之間以 相連。如...