app爬蟲相關問題筆記

2021-09-26 03:53:19 字數 311 閱讀 2421

abc

defg

hijk

lmmac位址(反爬):爬蟲請求頭千萬不要攜帶mac位址!最常用的有網域名稱位址、ip位址、mac位址三種方式,它們分別對應於osi模型中的應用層、網路層、資料鏈結層。通常ip位址是不斷變化的,而mac位址是計算機的物理網絡卡唯一對應的位址,好比每個人都有唯一對應的身份證號碼一樣具有唯一性。所以如果訪問伺服器時帶上mac位址就很容易被對方發現你短時間傳送大量的請求過來,肯定是爬蟲,就把你封掉了,如果被封的是mac位址,除非你把網絡卡換掉,否則容易都抓不到目標**的資料。no

pqrs

tvwx

yz

爬蟲app相關庫的抓取

charles是乙個網路抓包工具,相比fiddler,其功能更為強大,而且跨平台支援得更好,所以這裡選用它來作為主要的移動端抓包工具。mitmproxy是乙個支援http和https的抓包程式,類似fiddler charles的功能,只不過它通過控制台的形式操作。此外,mitmproxy還有兩個關...

APP測試相關

2 功能測試很重要!設計好測試用例,一條一條測 3 易用性測試 也就是使用者體驗測試,越簡單越好,從頁面布局,功能操作步驟和內容等方面進行測試。4 ui測試 a 介面測試 c 配色是否舒服 d 風格是否統一 e 是否有錯別字 f 按鈕大小 5 場景互動測試 a 前後臺切換 b 不同應用之間的切換,比...

python爬蟲筆記 編碼問題

importurllib2 importurllib importrequests frombs4 importbeautifulsoup url respones requests.get url text soup beautifulsoup respones,html.parser info ...