使用場景：爬取的資料不在同一頁面中。也就是說爬取的目標可能在詳情url中，即深度爬取。
1.第一步：
實現方法：重寫乙個解析詳情頁的parse方法，在原始parse方法下，手動進行請求傳送中，加入meta引數，即可將item傳遞給解析詳情頁的parse方法。
就是將不同頁面解析返回的item封裝到同乙個item中。
yield scrapy.request(detail_url,callback=self.detail_parse,meta=)首先在需要定義乙個通用的url模板，當執行完首頁的解析操作之後，然後設定條件判斷，請求後面的url，利用callback=self.parse再次進行解析操作即可。
scrapy爬蟲獲取Ajax請求
本次練習 為智聯招聘網，要先註冊登入。傳送門 看到ajax 登入 f12 network xhr f5 preview 展開result，可以看到很多的招聘資料，這就是我們需要的。現在開始寫 一 建立scrapy專案。scrapy startproject crawposition 二 使用pych...
scrapy框架3 請求傳參
當使用scrapy爬取的資料不在同一張頁面中 一次請求與資料後解析無法獲得想要的全部資料 需要請求傳參，在第一次解析時例項化item,將item傳遞，再次將請求到的資料解析後，封裝在item中。關鍵點yield scrapy.request callback self.parse detail,ur...
scrapy請求傳參 BOSS反爬
思路總結 第一次請求就攜帶cookie，其實他之前有302重定向的如果網路卡的情況下你就會發現，cookie就是這個請求設定的，但是不知道為啥，最開始的請求隱藏掉了 首先boss加了反爬 是cookies的 爬取的內容為職位和職位描述 coding utf 8 import scrapy from ...