18 移動端資料爬取

2022-05-18 14:42:11 字數 1423 閱讀 6788

1 什麼是fiddler?

fiddler是位於客戶端和伺服器端的http**,也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和伺服器之間的所有 http請求,可以針對特定的http請求,分析請求資料、設定斷點、除錯web應用、修改請求的資料,甚至可以修改伺服器返回的資料,功能非常強大,是web除錯的利器。

既然是**,也就是說:客戶端的所有請求都要先經過fiddler,然後**到相應的伺服器,反之,伺服器端的所有響應,也都會先經過fiddler然後傳送到客戶端,基於這個原因,fiddler支援所有可以設定http**為127.0.0.1:8888的瀏覽器和應用程式。使用了fiddler之後,web客戶端和伺服器的請求如下所示:

傻瓜式安裝,一鍵到底。fiddler軟體介面如圖所示:

開啟fiddler軟體,開啟工具的設定。(fiddler軟體選單欄:tools->options)

在https中設定如下:

在connections中設定如下,這裡使用預設8888埠,當然也可以自己更改,但是注意不要與已經使用的埠衝突:

allow remote computers to connect:允許別的機器把請求傳送到fiddler上來

c. 安全證書安裝

證書是需要在手機上進行安裝的,這樣在電腦fiddler軟體抓包的時候,手機使用電腦的網絡卡上網才不會報錯。

android手機安裝:把證書放入手機的內建或外接儲存卡上,然後通過手機的"系統安全-》從儲存裝置安裝"選單安裝證書。

然後找到拷貝的fiddlerroot.cer進行安裝即可。安裝好之後,可以在信任的憑證中找到我們已經安裝好的安全證書。

蘋果手機安裝:

- 保證手機網路和fiddler所在機器網路是同乙個網段下的

- 在手機中的設定-》通用-》關於本機-》證書信任設定-》開啟fiddler證書信任

d. 區域網設定

想要使用fiddler進行手機抓包,首先要確保手機和電腦的網路在乙個內網中,可以使用讓電腦和手機都連線同乙個路由器。當然,也可以讓電腦開放wifi熱點,手機連入。這裡,我使用的方法是,讓手機和電腦同時連入乙個路由器中。最後,讓手機使用電腦的**ip進行上網。

在手機上,點選連線的wifi進行網路修改,新增**。進行手動設定,ip和埠號都是fiddler機器的ip和fiddler上設定的埠號。

10 移動端資料爬取

1 什麼是fiddler?fiddler是位於客戶端和伺服器端的http 也是目前最常用的http抓包工具之一 它能夠記錄客戶端和伺服器之間的所有 http請求,可以針對特定的http請求,分析請求資料 設定斷點 除錯web應用 修改請求的資料,甚至可以修改伺服器返回的資料,功能非常強大,是web除...

移動端的爬坑路

暫時有幾個常見的需要注意一下,防止被坑。1 手機瀏覽器會突然縮小頂部欄或者乾脆消失。這是由於使用了瀏覽器預設滑動事件造成的。所以整體專案要麼都使用滑動事件,要麼就只使用touch滑動事件,比如better scroll。2 ios對h5css position屬性支援是有些問題的,比如fixed與i...

Scrapy Mongodb爬取資料

scrapy爬蟲資料存到mongodb中 其實主要是前兩步 1 在settings.py中進行配置 item pipelines mongodb host 127.0.0.1 mongodb port 27017 mongodb dbname spider1 mongodb docname book...