Python爬蟲 app資料抓取 1

2021-09-16 12:43:49 字數 504 閱讀 2585

一、

1.安卓端模擬器環境搭建

2.抓包利器使用

3.自動化控制工具使用

二、1.資料分析

2.使用者畫像

3. 統計系統

4.商業競爭

三、1.簡單

2.困難

a.可能需要適當的反編譯,分析出加密演算法並抓取到資訊

b.可能加固,需要脫殼,然後反編譯,分析出加密演算法並抓取到資訊

c.需要破解通過各式各樣的簽名,證書,裝置繫結等方法,找到隱藏加密演算法

fiddler抓包軟體介紹

優點:1.可以檢視所有瀏覽器、客戶端應用或伺服器之間的web資料流

2.手動或自動修改任意的請求和響應

3.可以解密https資料流以便檢視和修改

缺點:1.fiddler只是支援http、https、ftp、websocket等資料流相關協議

2.無法檢測或修改其他資料,如smtp、pop3等

3.fiddler無法處理請求和響應超過2gb的資料

爬蟲app相關庫的抓取

charles是乙個網路抓包工具,相比fiddler,其功能更為強大,而且跨平台支援得更好,所以這裡選用它來作為主要的移動端抓包工具。mitmproxy是乙個支援http和https的抓包程式,類似fiddler charles的功能,只不過它通過控制台的形式操作。此外,mitmproxy還有兩個關...

python 爬蟲 基本抓取

首先,python中自帶urllib及urllib2這兩個模組,基本上能滿足一般的頁面抓取,另外,requests 也是非常有用的。對於帶有查詢欄位的url,get請求一般會將來請求的資料附在url之後,以?分割url和傳輸資料,多個引數用 連線。data requests data為dict,js...

python 爬蟲,抓取小說

coding utf 8 from bs4 import beautifulsoup from urllib import request import re import os,time 訪問url,返回html頁面 defget html url req request.request url ...