一招搞定重定向網頁

2021-10-04 17:10:42 字數 917 閱讀 6219

3.伺服器端重定向網頁爬取方案

http 302 found 重定向狀態碼表明請求的資源被暫時的移動到了由location 頭部指定的 url 上。瀏覽器會重定向到這個url, 但是搜尋引擎不會對該資源的鏈結進行更新,將會再次請求location欄位包含的url,如下圖網頁響應資料:

伺服器端重定向在伺服器端完成,一般爬蟲可以自適應,不需要做特別的處理,如相應**302(可以通過reponse物件中的url、status_code屬性來判斷),一般重定向後的url在資料報頭部的location欄位中,需要獲取location欄位的值。

網頁將實現跳轉,爬蟲直接獲取meta標籤的content屬性即可

這種通過js**載入的方式,一般找到包含內容的**段即可找到url

window.location.href=

''<

/script>

histroy=respose.history

a=histroy[0]

.headers

print

(a['location'

])

下圖為獲取的location欄位內容:

RecycleView一招搞定

a 新檢視組 b 可為任何基於介面卡的檢視提供相似 的渲染方式 c 作為listview和 gridview的繼承者 d 高度解耦,非常的靈活 e 可以設定不同的layoutmanager itemanimator,itemdecoration 第一步 新增依賴 implementation com...

一招搞定手機端布局 rem

px 畫素 em 乙個 m 的寬度 面試 乙個字的寬度 rem root em 根元素 的 font size vh view height,視口高度 100vh 視口高度 vw view width,視口寬度 100vw 視口寬度 瀏覽器預設 font size 16px chrome瀏覽器預設最...

一招搞定設計模式 工廠模式

在 mybatis中比如 sqlsession factory使用的是工廠模式,該工廠沒有那麼複雜的邏輯,是乙個簡單工廠模式。簡單工廠模式 factory pattern 又稱為靜態工廠方法 static factory method模式,它屬於建立型模式。在簡單工廠模式中,可以根據引數的不同返回不...