最近需要爬取知網專利的資料，時間限定為2023年。一番折騰以後，發現知網反爬蟲非常嚴重。
幾經研究，最後還是鼓搗了出來。
專案github位址
知網專利檢索結果列表頁反爬蟲非常嚴格，仔細抓包分析以後，發現每次請求必須攜帶：
嚴格的headers
cookies(變化的)
而且列表table是js載入出來的，單獨請求獲取不到資料，需要請求裡面巢狀的特定的url才可以取得資料，具體url可以通過firefox或google瀏覽器分析網路請求，不是第乙個url！！！分析第乙個url的response可以發現裡面是沒有專利列表資料的，帶資料的是下面的某個url（找很大的幾十kb的url），然後直接請求這個url即可獲得專利列表資料了。
知網驗證碼問題
可以通過換瀏覽器解決
可以通過機器學習解決（需要獲取大量資料進行訓練）
僅作學習交流，不做商業使用。
python 爬蟲 知乎
人生苦短，唯有python 是不是 寫多了自己就熟練了呢？人人網爬蟲模板，具體操作以後有機會再新增吧！coding utf 8 import urllib2 import urllib import cookielib import re def zhihubrower url,user,passw...
知乎首頁爬蟲
嘗試了一下知乎首頁爬蟲 import re import requests from urllib import parse 首頁鏈結 headers resp requests.get headers headers print resp.text urls re.findall content ...
python 爬蟲 登入知乎
pytho3.4 requests.get request.post requests.session 1 通過瀏覽器f12開發者工具，找到登入時提交的表單以及請求的url 注意請求的url不是瀏覽器網域名稱框的url 因為知乎改了，現在不需要驗證碼了，所以中少了驗證碼的引數，不過 裡是有的 2 設...