requests庫和Scrapy比較

2021-08-24 20:55:27 字數 393 閱讀 1205

相同點:

​ 兩者都可以進行頁面請求和爬取,python爬蟲的兩個重要技術路線

​ 兩者可用性都好,文件豐富,入門簡單

​ 兩者都沒有處理js、提交表單、對應驗證碼等功能功能(可擴充套件)

requests

scrapy

頁面級爬蟲

**級爬蟲

功能庫框架

併發性考慮不足,效能較差

併發性好,效能較高

重點在於爬蟲結構

定製靈活

一般制定靈活,深度制定困難

上手十分簡單

入門稍難

非常小的需求,requests庫

不太小的需求,scrapy框架

定製程度很高的需求(不考慮規模),自搭框架,requests>scrapy

requests庫和urllib包對比

python中有多種庫可以用來處理http請求,比如python的原生庫 urllib包 requests類庫。urllib和urllib2是相互獨立的模組,python3.0以上把urllib和urllib2合併成乙個庫了,requests庫使用了urllib3。requests庫的口號是 htt...

請求庫之requests庫

安裝 pip install requests get,delete,post 本質都是呼叫request函式 ret requests.get print ret.status code 響應狀態碼 print ret.text 響應體,轉成了字串 print ret.content ret re...

Requests庫的入門

windows平台下,以管理員模式執行cmd方法 說明requests.requests 構造乙個請求,支撐以下各方法的基礎方法 requests.get 獲取html網頁的主要方法,對應於http的get requests.head 獲取網頁頭資訊的的方法,對應於http的head request...