Scrapy中response屬性以及內容提取

2022-01-12 06:36:26 字數 1115 閱讀 4330

status:http響應的狀態碼,int型別

headers :http響應的頭部, 類字典型別, 可以呼叫get或者getlist方法對其進行訪問

body:http響應正文,bytes型別

text:文字形式的http響應正文,str型別

response.text = response.body.decode(response.encoding)

encoding:http響應正文的編碼

reqeust:產生該http響應的reqeust物件

meta:即response.request.meta, 在構造request物件時, 可將要傳遞給響應處理函式的資訊通過meta引數傳入, 響應處理函式處理響應時, 通過response.meta將資訊提取出來

selector:selector物件用於在response中提取資料使用下面詳細將,主要是xpath,css取值之後的處理

xpath(query):下面詳細講解

css(query) :下面詳細講解

response.css('css選擇器')返回值是selector物件

response.css('css選擇器').extract_first()
response..xpath('css選擇器').extract()
response.css('css選擇器::attr(屬性名)').extract()
(response.css('css選擇器::text').extract()
response.css('xpath選擇器')返回值是selector物件

Scrapy原始碼閱讀 response處理過程

以官方教程quotesspider為例,結合原始碼分析一下scrapy中response的處理過程。下面是待爬取的網頁,紅框中的是目標html標籤 quote文字內容 如果output是request物件,則將其交給引擎準備繼續爬取,開啟executionengine類的crawl方法可以看到引擎直...

JSP中的response物件

jsp的隱藏物件response在轉換為servlet物件之後,對應於httpservletresponse形態物件。httpservletresponse就是有關客戶端請求之響應,可以用它來設定一些 標題 響應狀態資訊。response物件所提供的方法。1 設定表頭的方法 void addcook...

flask中的response物件

response物件,即響應物件。響應資料為檢視函式return返回的結果。其中,結果的型別有以下幾種 1.字串型別 對於字串型別,系統自動將其封裝為response物件。例 fls.route defindex return 首頁 檢視函式index返回乙個字串。結果為 2.自定義響應物件 返回自...