ajax方式載入的網頁，我們在用抓包工具抓包的時候，在其html部分返回的固定的介面，是沒有包含到網頁完整的資訊的，其更多的內容是通過json的方式傳輸到頁面上的
ajax方式載入的頁面，其資料**一定是json，拿到json的話，就拿到了網頁的資料。
我們想要拿網頁中的json檔案，簡單的方法，就是通過抓包工具，找到後台傳輸json檔案的位址，在抓包工具中顯示的例項（爬取豆瓣**電影排行榜的的json資料）：
先在抓包工具中截獲的資料流找到json網頁，然後這個網頁的header第一行就是其儲存的位址，我們可以直接通過構建請求訪問這個網頁位址，來爬取到我們想要的json檔案。
爬蟲學習筆記num4
post url kw input 請輸入要翻譯的內容 headers data response post url url data data,headers headers 響應資料是一組json資料，獲取相應資料用json 方法，json 方法返回obj物件 必須確認響應資料是json型別才可...
Python爬蟲學習筆記4 解析庫的使用
學習參考 python3網路爬蟲開發實戰 lxml beautiful soup pyquery 4.1 使用 xpath title lang eng 它代表選擇所有名稱為 title，同時屬性 lang 的值為 eng 的節點 from lxml import etree html etree....
Python爬蟲解析網頁的4種方式
正規表示式 regular expression 描述了一種字串匹配的模式 pattern 可以用來檢查乙個串是否含有某種子串 將匹配的子串替換或者從某個串中取出符合某個條件的子串等 正則的好處是編寫麻煩，理解不容易，但是匹配效率很高，不過時至今日有太多現成的html內容解析庫之後，我個人不太建議再...